声をクローンしても、その人までついてくるわけではない

聞き慣れた声があれば、話者の性格や権威、信頼まで与えなくてもアバターを見分けやすくできる。論文の著者らは、聞き慣れた声を使うキャラクターを2つの研究で検証した。そのうち1つでは、コンテンツクリエーターを中心とするコミュニティから65人を集めた。学校の個別指導アプリでは、キャラクターが自分をAIだとはっきり示し、正確な指導と自然なやり取りを通じて信頼を得るなら、役に立つ可能性がある。

短い録音があれば、仮想キャラクターに講師やクリエーター、親族のような声で話させることが、すでに可能である。そこには魅力的な近道がある。声が聞き慣れたものなら、人々はそのキャラクターに話者の温かさや権威、信頼まで貸すのではないかという発想だ。しかし、聞き慣れた音と、よく知る人物は同じではない。その人物の行動や判断、表情、聞き手との関係まで一緒についてくるわけではない。

聞き慣れた声が伝えるもの

音声クローンシステムを使えば、短い録音から、対象となる声で新しい発話を作れる。その結果は、強いアイデンティティーの手がかりになるかもしれない。人は声から素早く印象を形成する。また、聞き覚えのある声は、その持ち主についての記憶や期待を呼び戻すこともある。

だからこそ、この区別が重要になる。アバターは、一度にいくつもの手がかりを通じて判断される。何を言うか、どれくらい速く反応するか、顔をどう動かすか、どのように見えるか、どんな役割を名乗るかである。クローンされた声が与えるのは、そのうちの1つだけだ。そのキャラクターが誰に似ているかは示せても、その人物があらゆる状況でどう振る舞うかを記録したものではない。

人物の認識と人工キャラクターが出会うとき

論文では、これを直接検証した2つの研究が報告されている。参加者はまず、記憶をもとに、よく知る人物を評価した。次に、同じ仮想キャラクターが、その人物のクローン音声、または聞き慣れないクローン音声で話す場合を評価した。キャラクターの見た目と話す言葉は同じに保たれたため、主な違いは声だった。

1つ目の研究では、ある講師を知っている17人の学生が、約14秒の動画を見た。キャラクターが講師のクローン音声を使ったとき、好感度と協調性についての評価は、講師に対する評価に近づいた。能力や、検証したその他の性格特性では、同じことは起きなかった。

事前登録された2つ目の研究では、2人のコンテンツクリエーターを中心とするコミュニティから集めた65人を維持し、約43秒の動画を使った。今回は、予測された方向に変化したのは外向性だけだった。好感度、能力、信頼、その他の特性には変化がなかった。1つ目の研究で見られた好感度と協調性への影響は、再び現れなかった。

この反応は、親しみを借りることの問題も示している。参加者がクローン音声を認識したという言及は17回あった。しかし、両方の音声条件で最も多かったテーマは、顔の動きが硬い、または人工的だというものだった。声とキャラクターの見た目の不一致についてのコメントは、聞き慣れた声のほうが多かった。聞き慣れない声では1回だったのに対し、聞き慣れた声では3回だった。認識によって、元の話者への期待がよりはっきりしたため、違いを無視しにくくなったようだ。

そのため著者らは、聞き慣れた声が幅広い性格を移したり、ある人物を再構築したりするという証拠はほとんどないと結論づけている。研究は小規模で、短時間の1回だけの接触を使い、ドイツ語話者を対象とし、自己申告による評価を用いた。1つ目の研究は探索的なもので、どちらの研究も複数の比較を行ったことに対する補正をしていない。声の持ち主は許可を与えていたか、録音の利用が明示的に認められていた。

一貫したデザインとはどのようなものか

この結果が、より長く現実的なやり取りでも成り立つなら、アバターに聞き覚えのある声を与えることは、信頼や社会的存在感を作り出す確実な方法にはならない。リハビリテーション施設では、患者が自分の過去の声を合成したものを選び、昼食を注文したり家族と話したりするかもしれない。それなら、装置を自分のデジタルな継続体として示すことなく、自分のアイデンティティーの有用な一部を保てる可能性がある。

学校の個別指導アプリでは、アバターが聞き慣れた教師のような声で話しながら、自分がAIシステムであることを明確に知らせることが考えられる。その価値は、生徒がその声を教師本人の存在と取り違えることではなく、正確な指導と自然なやり取りにかかることになる。

実際の課題は、声、見た目、行動、開示、同意を互いに合ったものにすることである。聞き覚えのある声だけでは、キャラクターの残りの部分を代替できない。また、元の話者の性格を運べなかったとしても、なりすましや同意をめぐるリスクは生じる。

Sources

Known-Voice Cloning and the Limits of Personality Transfer for Character Design