arXiv
ヘルスチャットボットの安全性は、それまでに何を伝えたかに左右される
ヘルスチャットボットは、その言い回しだけでは安全だと判断できない。すでに把握している利用者の脆弱性に応じて行動する必要もある。著者らは4か国の利用者による実際の健康相談15,555件を分析し、それ以前に伝えられた情報がある場合とない場合の両方で回答を評価した。その記憶が正確で、プライベートに保たれ、利用者が管理できるなら、深夜の運動に関する質問に対して、危険な運動メニューではなく、過去の手術について警告できるかもしれない。
現在のヘルスチャットボットは、目の前の質問だけを聞いているかもしれない。運動プランを求めている人が手術を受けたこと、特定の薬を飲んでいること、潰瘍があること、あるいは以前に自殺念慮について述べていたことを、ボットは知らない可能性がある。そのため、慎重に聞こえる回答でも、その人にとっては間違っていることがある。危険なことを勧めたり、本来なら専門家への紹介が必要な場面で安心させたりする可能性がある。
個人の履歴で回答が変わる理由
健康に関する助言は、一つの質問から抜け落ちやすい細部に左右される。診断、妊娠の有無、薬、けが、メンタルヘルス上のリスク、医療を受けられるかどうかは、何が安全かを変えうる。臨床システムが患者の履歴を使うのはこのためである。普通の勧めでも、その人の話の全体と合わせて見ると、警告や緊急の紹介に変わることがある。
チャットボットは会話の記憶を保持したり、以前のメッセージを与えられたりする。それはトレードオフを生む。危険な助言を止められる同じ履歴が、慎重に扱うべき個人情報でもある。記憶が少なすぎるシステムは危険を見逃すかもしれない。利用者に管理権限を与えずに情報を使いすぎるシステムは、保護を監視へと変えてしまう可能性がある。
ここで使われた証拠は、架空の患者ではなく、提供された会話から得られた。著者らは、インド、ナイジェリア、ブラジル、パキスタンの1,252人が提供したChatGPTの会話202,590件の中から、健康に関する会話15,555件を分析した。会話は2022年12月から2026年2月までのものである。参加者はChatGPTの履歴をすべて提供し、各自の端末上で動くスクリプトがアップロード前に個人情報を削除した。著者らはこのサンプルを、母集団を代表しない便宜的なサンプルと呼んでいる。そのため、こうしたパターンが各国でどの程度一般的かを示すことはできない。
記憶で安全性の評価が変わるとき
このプレプリントは、単純な問いを検証している。チャットボットの回答を、利用者が以前に開示した健康情報と並べて評価した場合、回答の見え方は変わるのか。まず、自動評価者が、それまでの履歴なしに各回答を評価した。この文脈を考慮しない評価では、4か国の健康に関する会話の20.6%から26.3%が高リスクと判定された。病気や治療に関する質問ではその割合が39.8%から47.7%と高く、症状に関する質問では33.4%から40.3%だった。
次に著者らは、それ以前の履歴から関連する個人情報が明らかになった427人の5,657件の会話を調べた。蓄積された文脈を与えると、高リスクとされた割合は13.4から16.6パーセントポイント上昇した。文脈なしでは低リスクに見えた会話の25.2%から26.3%が、文脈を与えると高リスクの区分に移った。フィットネス、ライフスタイル、コーチングに関する会話では増加が最も大きく、その区分に入る割合が26.1から30.0パーセントポイント上昇した。
これは利用者が被害を受けたことを意味しない。スコアは、公開された基準に基づくGemini 3.1 Pro Previewの判定であり、実際に観察された健康上の結果ではない。著者らは高リスクの会話128件を分類し、専門家への紹介の欠如、不正確または有害な助言、安全でない治療や用量に関する助言、有害な行動や依存の強化、安全でない診断が繰り返し見られるテーマだとした。
この結果は、一つの質問だけを使ったテストでは見逃しうる失敗のパターンを示している。一般的な回答は平均的な利用者には慎重に見えても、チャットボットがすでに知っているその人にとっては危険になりうる。
記憶を管理できれば、より安全なチャットになる
深夜のキッチンで、運動プランを尋ねた人が腹部手術について以前に伝えていたことをアシスタントが認識し、負荷の大きい体幹運動を勧める前に立ち止まる場面を想像できる。代わりに、臨床医に相談するよう勧めることもできる。元パートナーについてのプライベートなチャットでは、記録された自殺念慮を助長することを避け、すぐに人間の支援を受けるよう利用者に促せるかもしれない。
こうした場面が可能になるのは、記憶が正確で、関連性があり、利用者に管理され、悪用から守られている場合だけである。この結果を確認するには、より広範で臨床的に検証されたサンプルがなお必要になる。ヘルスアシスタントには、プライバシーを守る記憶の管理機能も必要になる。つまり、禁忌となる助言を見つけるために必要な履歴を使いつつ、その履歴を無制限の監視に変えない安全策である。また、この論文は、収集対象となったモデルのバージョンを通じてリスクが低下しなかったと報告している。ただし、モデルの影響を時期や利用者の選択から完全に切り分けることはできない。