arXiv
チャットボットはまず安全かどうかを尋ねるべきだ
感情AIは、慰めや助言を差し出す前に若者の安全を確認するかどうかで評価すべきである。免許を持つ臨床家10人が、苦痛を訴える5つの会話を書き直した。自傷や妄想的思考に関わる書き直しはすべて、安全を確認する質問から始まっていた。午前2時の寮の部屋では、それは長いチャットボットの独白ではなく、短い安否確認と、連絡可能な支援サービスを意味するかもしれない。ただし、プラットフォームがその質問を、実際に利用できる地域の支援につないでいればの話である。
危機にある若者は、思いやりがあるように聞こえるChatGPTの返答をすぐに受け取れる。それでも、最初に問うべき重要な質問を飛ばしてしまうことがある。今、安全なのかという質問である。その代わりに、システムは答えを最後まで返し、対処法を示し、あるいは本人の感情をなぞるかもしれない。そうなると、短い打ち明け話が、より長く、より強い感情を伴うやり取りに変わる一方で、助けてくれる誰かにはつながらない可能性がある。
最初の質問が重要な理由
汎用チャットボットは、役に立ちそうな続きの文章を生成するよう作られている。誰かがつらいことを入力すると、その設計によって、情報が足りないまま立ち止まるよりも、完全な答えを返す方向へシステムが押しやられる。しかし、短い打ち明け話の意味は、チャットボットがまだ持っていない詳細に左右されることがある。怖いと言う人は、今すぐ危険な状況にいるのかもしれないし、以前に起きたことを説明しているだけかもしれない。
このため、感情面の支援は通常の質疑応答とは異なる。チャットボットは温かい言葉をまねできるが、利用者の周囲で何が起きているかを見たり、別の人に連絡したり、緊急支援を手配したりはできない。危機支援への案内でさえ、本人に自分で支援先を探すよう伝えるだけなら、あまり役に立たないかもしれない。本人が実際に連絡できる、名前のあるサービスのほうが有用である。
研究者たちは、18歳から25歳までの158人の利用者について、ChatGPTとの全履歴を調べた。履歴には合計19,930件の会話が含まれていた。参加者のほぼ40%は、PHQ-4と呼ばれる4つの質問からなる苦痛のスクリーニングで、少なくとも6点を取った。研究者たちはその後、自傷、妄想的思考、性的暴行、別れ、性的欲望への羞恥に関わる5つの会話を選んだ。免許を持つ臨床家10人がそれらのやり取りを検討し、1ターンずつ33件の代替返答を書いた。
苦痛を感じていた参加者は、ChatGPTからより大きな影響を受けたとも答えた。平均的な感情的関与は5段階評価で3.31だったのに対し、他の参加者では2.84だった。報告された行動の変化は3.89で、他の参加者では3.54だった。つまり、返答の順番が重要になる。利用者が、タイミングの悪い返答を受け止める力を失っているときほど、システムの影響力が大きくなる可能性があるからだ。
より安全な会話の順番
臨床家たちは、繰り返し現れる7つの失敗を見つけた。そこには、解決策に飛びつくこと、一般的な助言をすること、安全を確認しないこと、道具と伴侶の境界を越えること、有害な要求に応じること、感情を高ぶらせる言葉を使うことが含まれていた。
彼らの書き直しは、「安全な感情AI」という幅広い考えを、会話の記録で確認できる順序へと変えた。まず、今すぐ安全かどうかを尋ねる。次に、感情の強さを下げる。その後で、まだ確認されていない信念に同意することなく、何が起きているのかを探る。臨床家たちは、自傷と妄想の書き直しの両方を、安全を確認する質問から始めた。
これは、チャットボットが適切な慰めの言葉を使ったかどうかを尋ねる基準とは異なる。システムが適切な瞬間に、適切な順番で応答したかどうかを問うものだ。提案された設計ルールは、具体的で連絡可能な支援先の案内、明確な境界線、求められていない助言ではなく、受け止めの言葉に続けて状況を明らかにする質問を返すことも求めている。このような手順なら、AIに共感的であれと曖昧に指示するより、テストしやすい。
役に立つ返答はどのようなものか
午前2時の寮の部屋で、ある学生が自分を傷つけた後、怖いと入力したとする。このルールの下では、チャットは安心させる言葉やセルフケアの助言を1ページ分並べて始めることはない。学生が今安全かどうかを尋ね、助けが必要なら名前のあるサービスを伝え、一度に一つの簡単な質問だけを続ける。
その未来は、プラットフォームが実際の利用環境でルールをテストし、安全を確認する質問を、実際に利用できる地域の支援につなげられるかにかかっている。今回の知見は1つのプラットフォームと、詳しく調べた5つの事例に基づくため、すべてのシステムや、あらゆる種類の苦痛に当てはまるとは限らない。また、より良い順序を実現しても、チャットボットが臨床家になるわけではない。非言語的な合図を観察したり、第三者に連絡したり、引き継ぎがうまくいったことを確認したりすることは、依然としてできない。
より広いテストでこのルールが有効だと確認されれば、製品チーム、監査担当者、規制当局は、脆弱な状態にある人との会話を評価する、より明確な方法を得られるかもしれない。評価の基準は、ボットが禁止されたフレーズを遮断したか、免責事項を表示したかだけではなくなる。それに加えて、最も役に立つ返答が、時には最初に尋ねる質問であることを認識したかどうかも基準になる。