arXiv
メンタルヘルス・チャットボットのブロックがルールと前提を示す
メンタルヘルス・チャットボットの安全性は、臨床上の判断を、事実と前提を検証できるルールに変えれば検査可能になる。2人の臨床家が4つのチェック項目を定め、システムは抽出した16の事実にそれを適用した。アプリのレビュー用コンソールでは、抽出とルールがその環境で検証済みなら、臨床家はブロックされた返答の背後にある前提を確認し、異議を唱えられる。
メンタルヘルス・チャットボットは、理由を示さずにメッセージを拒否できる。開発者が知ることができるのは、返答がブロックされたか許可されたかだけで、どの判断がその決定を引き起こしたのかは分からないことがある。普通の健康に関する質問をしている人にとって、同じ慎重さが行き止まりのように感じられることもある。不確かな文脈が危険として扱われ、ユーザーは別の窓口に誘導されるか、拒否されるからだ。
判定から追跡可能な過程へ
多くの安全フィルターは、安全、危険、拒否といったラベルを出すだけで、その間にある手順を明らかにしない。そのため、失敗を検査するのは難しい。会話を誤解したのか。ルールが厳しすぎたのか。それとも、ユーザーの発言についての悪い説明に、システムが妥当なルールを適用したのか。
新しいアプローチでは、こうした問いを切り分ける。まずAIモデルが会話から事実を抽出する。次にルールシステムが、その事実を使って何をするかを決める。形式検証によって、ルールシステムが明示されたルールに従っているかを確認できる。ただし、そのルールが臨床的に十分かどうかや、モデルが事実を正しく抽出したかどうかは示せない。
この区別は、メンタルヘルスでは特に重要だ。リスクは複数のメッセージにまたがる文脈に左右されることがあるが、このシステムが検査するのは、互いに独立した1ターンの会話だ。また、失敗時に安全側へ倒すポリシーは不確実性も慎重に扱う。不確かな危機シグナルは存在するとみなし、不確かな紹介は存在しないとみなす。これによって見逃した危険を拾える可能性がある一方、不要なブロックを生むこともある。
臨床家がチェック項目を作る
2人の臨床家が4つのチェック項目を定義し、最終決定した。システムは、危機支援情報を提供し、必要な場合にはユーザーを資格を持つ専門家に紹介し、安全でない薬の指示を避け、自傷行為や摂食障害行動を助長しないようにしなければならない。
ルールは16の事実に対して実行される。そのうち15個は、LLMが会話から抽出する。システムは、16個目の事実である988または911が文字どおり存在するかどうかを、テキスト内にその文字列が正確にあるか調べて算出する。したがって、それぞれの判定を、名前の付いた事実、不確実性に関する前提、特定のルールに結び付けられる。単一の不透明なモデルの決定のままにはならない。
Z3 SMTソルバーは、ルール群について7つの性質を証明した。研究者たちは、妥当な事実の組み合わせ393,216通りすべてについても検査した。これは、検査した範囲ではルール同士が矛盾していなかったことを意味する。事実が正しかったことや、4つのチェック項目が臨床的に安全な返答に必要なすべてをカバーしていることを意味するわけではない。
294件の1ターンの会話では、検証レイヤーが、別のLlama-3.3-70B判定モデルと最終結果で一致したのは35.4%にすぎなかった。この不一致は、自動的に失敗を意味するわけではない。2つのシステムが異なる誤りを犯した可能性があるからだ。基準スコア付きの危機支援情報チェックでは、判定モデルの誤警報は少なかった。81件中23件で、ルールレイヤーの39件に対して少なかった。既知の違反13件については、両方とも2件を見逃した。
いくつかの誤警報の原因は明らかになった。判定モデルは、すでに988または911を含んでいる55件の返答で、危機支援情報を要求した。同じモデルを事実抽出器として使うと、その55件のうち54件で支援情報を認識した。追跡記録によって、問題は書かれたルールではなく、モデルによる会話の説明にあったと分かることがある。
より安全そうな拒否にも代償がある
研究者たちは仕様を改訂し、500件の健康相談の境界に関するプロンプトで検証した。ブロック扱いの結果を受けた割合は6.0%から16.0%に上昇した。56件のプロンプトは変更なしで通過し、364件には紹介が追加され、80件はブロックまたはブロック扱いとなった。
この結果は、トレードオフを具体的に示している。慎重なポリシーは、本物の危機シグナルが正しく抽出されたときに介入できる。しかし普通のユーザーも、紹介や拒否という形で不確実性の代償を負うことがある。著者らは、検証したレイヤーはユーザーへの展開にまだ適していないとしている。
メンタルヘルスアプリのレビュー用コンソールでは、苦痛の有無が判定不能と記録され、ポリシーによって高リスクとして扱われたため返答が保留された、と臨床家が確認できる。AIがメッセージをブロックした理由を推測する代わりに、その前提に異議を唱えられる。その場面を安全にするには、抽出に使う質問、地域の緊急支援情報、臨床ルール、不確実性のポリシーが、アプリが運用される国、言語、複数メッセージの環境に適合していなければならない。この研究が対象としたのは、参加した臨床家2人、1つのLLM抽出器、米国に特有の危機支援情報、そして互いに独立した1ターンの会話だけだ。