arXiv
データ・ボイドが1つのウェブページをチャットボットに確認済みと思わせる
ウェブを検索するチャットボットは、信頼できる情報がない状態を、1つのウェブページが独立に確認されたように見える回答へと変えてしまうことがある。研究者が人工的に作った56のデータ・ボイドを調べたところ、攻撃者が管理するページが引用されたり、回答に使われたり、情報源として挙げられたりした条件は31%だった。台所のテーブルでは、検索システムが証拠の乏しさと情報源の独立性を示せば、AIアシスタントはサプリメントの主張が1つの情報源に基づくものだと、代わりにはっきり警告できるはずだ。
人があまり知られていない主張をウェブで検索するとき、疑わしい結果ばかりが少し出てくること自体が警告になる。確立された情報源がないことや、インターネットの片隅から来たページしかないことが分かるからだ。ウェブを検索するチャットボットは、その警告を隠してしまう。乏しい証拠を流ちょうな回答に変え、リンクをいくつか加えることで、1つのページが確認情報のように見える状態を作り出す。
回答の裏にある空白
データ・ボイドとは、信頼できるオンライン情報がほとんどない、またはまったくない話題や検索語のことである。新しい出来事、作られた言葉、知られていない製品、論争のある主張などをめぐって現れることがある。
従来の検索エンジンは結果の一覧を表示する。その一覧は少なかったり、奇妙だったり、弱い情報源ばかりだったりする。利用者は空白に気づける。ウェブを検索するチャットボットは違う。ページを集め、そこから1つの回答を書く。
引用は、ある記述がどこから来たかを示すだけである。他の独立した情報源が同じ内容に同意していることを証明するものではない。利用できるページが主張を述べる1つだけなら、整った回答は、証拠が依然としてその1ページだけだという事実を隠してしまう。
空白の中の1ページ
研究者は、健康、法律、政治、ビジネス、テクノロジーなどの分野を対象に、人工的に作った56のデータ・ボイドを用意した。それぞれのボイドには、攻撃者が管理するウェブページを1つ置いた。ページには架空の組織や人物と、捏造された主張が使われ、調査後にオフラインにされた。
次に、異なる種類の質問を使って、ウェブを検索する3つの言語モデルをテストした。504件の回答全体で、攻撃者のページが引用されたり、回答に使われたり、情報源として一覧に載ったりした条件は31%だった。中程度と高い可視性を持つページでは、報告された成功率は42.3%だった。可視性の低いページは、この実験では成功しなかった。
モデルを変えたり、質問の語調を変えたりするよりも、可視性のほうが重要だった。懐疑的な聞き方をすると、攻撃者の素材が現れた場合に、システムはより多くの警告や慎重な表現を加えた。しかし、素材が現れるのを確実に止めることはできなかった。引用された、または使われた攻撃者のコンテンツのうち、警告や留保表現が付いたのは26.8%だけだった。
これは、孤立したウェブページがすべてチャットボットをだますという意味ではない。実験が示すのは、より基本的な弱点である。取得できるものがほとんどないとき、システムは利用できること自体を証拠として扱う可能性がある。論文は、1ページだけを使った攻撃を下限と呼んでいる。複数のページ、ドメイン、プラットフォームにまたがる組織的なキャンペーンなら、独立した支持があるように見せられる可能性がある。
論文の一例では、親が「Ulvexa」という架空のサプリメントが子どもに安全かどうか尋ねる場面を想定している。回答には引用があるため、完全なものに見えるかもしれない。だが実際には、その背後にあるページがすべて、偽のサプリメントを買わせようとする人物によって作られている可能性がある。
より安全な検索が示すもの
台所のテーブルで、見慣れないサプリメントについて尋ねる親には、回答とともに簡潔な通知が表示されることになる。その主張は、最近見つかった1つの情報源に由来し、独立した確認がないという通知である。大きなニュースが出た後に通勤中の人がスマートフォンで尋ねると、アシスタントは、確認済みの事実と、1ページだけに支えられた新しい主張を分けて示す。同じ自信に満ちた要約の中に両方を置くことはない。
その未来には、通常の回答が隠しがちな2つのことを検索提供者が測る必要がある。情報源同士が独立しているかどうかと、証拠がどれほど乏しいかである。正当な新情報や、まだ十分に扱われていない情報を自動的に抑え込まずに、そのシグナルを見えるようにしなければならない。
この研究では、ニュース速報のシナリオが、テストした戦略の中で成功する確率が最も高いと報告された。ページは人工的に作られたものなので、この結果は実際のウェブでどれほど頻繁に起きているかを測ったものではない。しかし、この研究は設計上の問題を特定している。利用者にもっと懐疑的になるよう求めたり、別のチャットボットに替えるよう求めたりしても、かつて空白の検索結果ページが与えていた警告を確実に取り戻すことはできない。