arXiv
文化的ローカライズの調査で、国名ラベルが社会的助言を平板化すると判明
国名を付けるとAIは現地らしく聞こえるが、実際の社会的助言は世界全体の無難な平均になっていることがある。著者らは、90の社会における150の日常的な場面について、4つの言語モデルと人間による評価を比較した。サンパウロの診療所の待合室では、デジタル受付係が代表性のある現地の証拠を使ってモデルをテストすれば、現地の判断に合わせて助言を調整できる可能性がある。
アシスタントは、ある行動が広く受け入れられそうかどうかを判断できることが多い。だが、その判断が社会によってどう変わるかを確実に説明することはできない。チャットボットに国名を与えても、さまざまな見方を一つの安全な平均へならしているだけで、現地らしく聞こえる助言を返すことがある。アイコンタクトや会話相手との距離、その他の日常的なやりとりについて尋ねる人にとって、その平均は安心できるものである一方、間違っている可能性もある。
文化的な助言は何に左右されるか
日常の規範は固定されたルールではない。同じ行為でも、ある場面では受け入れられ、別の場面では不適切になる。しかし大規模言語モデルは、代表性のある集団が行動を直接評価する様子を見るのではなく、テキストからパターンを学習する。翻訳によって回答が変わっても、その言語を話す人々の判断と一致するとは限らない。国名を示すと現地の知識があるように見えるが、モデルは幅広い、あるいはステレオタイプ化された連想に依存したままになる可能性がある。
この隔たりを測るため、著者らは90の社会における150の日常的な場面について、4つの言語モデルと人間による評価を比較した。人間による基準値は、2023年7月から2024年5月にかけて調査した25,422人から得たものだ。これは便宜抽出によるサンプルで、国を代表するものではない。そのため、どの社会についても完全な地図となるわけではない。それでも、モデルが一般的なエチケットを理解しているかどうかより正確な問いを立てる手段にはなる。つまり、社会と社会の違いを再現できるかという問いである。
国名ラベルだけでは不十分なとき
答えは、しばしば「できない」だった。4つのモデルは、調査データが示したよりも、社会同士をはるかに似たものとして扱った。モデルがどの社会を考えるべきか直接指示された場合でさえ、社会間の違いについての推定値は、人間の評価で測定された大きさの半分未満だった。
モデルは、現地の回答のパターンを一致させることにも苦戦した。シナリオ単位で見た異文化間相関の平均は、調査による評価との間で0.23から0.33の範囲だった。モデルによっては、シナリオの49%から66%で相関が0.30未満だった。ここでいう相関とは、2組の回答が一緒に増減するかどうかを測るものだ。値が低いということは、ある行動をどの社会がより受け入れやすい、あるいは受け入れにくいと判断したかを、モデルがしばしば見誤ったことを意味する。
難しさは、すべての状況で同じだったわけではない。モデルは、話すことや新聞を読むことのような普通の行動よりも、キスやいちゃつきについてのほうが、社会の違いを比較的よく区別した。これは、文化への適応が、劇的だったり明らかに敏感だったりする話題だけに関わるものではないため重要だ。システムが毎日のようにコメントする可能性のある、小さな行動も対象になる。
モデルに現地の調査言語でプロンプトを与えると、正確さはわずかに向上したが、文化的な違いの圧縮はなくならなかった。社会を指定しなかった場合、モデルの条件付けなしのプロファイルは、4モデルのうち3モデルで米国のプロファイルに最も近く、残る1モデルでは2番目に近かった。したがって、中立的に聞こえる回答が、必ずしも世界全体の回答とは限らない。実際には一つの社会に寄りながら、その事実を隠していることが多かった。
現地でテストされたAIはどのようなものになるか
この結果が当てはまるなら、サンパウロの診療所の待合室にあるデジタル受付係は、言語を切り替えるだけではない。アイコンタクトや会話相手との距離、受け入れられる行動について、現地の判断に基づく助言を提供できる。国名ラベルに置き換えるのではなく、その判断を使ってシステムをテストしているからだ。
その未来には、代表性のある現地データと、社会間の違いをならして消すのではなく再現できるモデルが必要になる。また開発者にとっては、文化的感受性をうたう主張をより明確に検証する方法にもなる。重要なのは、モデルがポルトガル語で応答するか、ブラジルに言及するかではなく、サービスを提供する相手の行動レベルの証拠に沿って助言するかどうかだ。
それが実現するまで、国境を越えて助言や教育、モデレーション、社会的なやりとりを行うシステムには、日常的な規範に関する判断について、人間による検証と現地での検証が必要になる。国名と翻訳されたプロンプトがあるからといって、社会的な助言が現地で信頼できる証拠にはならない。