arXiv

自殺関連のラベルはチャットボットに対応方法を教えない

2026年10月22日 09:30

チャットボットに自殺念慮の開示を拒否させないようにするのは、安全な対応方法を教えるより簡単である。研究者らは8つの言語モデルを検証し、自傷行為のラベルと組み合わせた場合、臨床家の指針によって、24のモデル・データセット比較すべてでリスクがあると判定された応答が減ることを見いだした。こうした手順が実際の会話でも機能するなら、「生きていたくない」と入力した人は、定型的な拒否ではなく、話を続けてもらい、人間の支援につながる道を示してもらえるかもしれない。

チャットボットに自殺を考えていると伝えた人は、拒否や、危機支援窓口への一般的な案内、あるいは危険を見逃した流暢な返答を受けるかもしれない。間違ったことを言わないようにするシステムでも、目の前の人への対応に失敗することはある。自殺への言及をすべて有害な依頼として扱うことは、安全な支援を提供することと同じではない。

Refer to caption — Figure 1: Conceptual overview of refusal in suicidal ideation (SI) disclosures. (A) Refusal can safeguard against harmful requests but leave support-seeking disclosures unaddressed. (B) A generic refusal direction, identified without SI data, predicts and contributes to refusals of SI disclosures. (C) Ablating this direction reduces refusal but increases RubRIX-measured response risk in several cases.Such SI disclosures pose a consequential challenge for AI safety. Refusal is a common mechanism for preventing LLMs from complying with harmful instructions [Arditi et al. (2024)](https://arxiv.org/html/#bib.bib18); [Brahman et al. (2024)](https://arxiv.org/html/#bib.bib40). However, disclosing SI differs fundamentally from requesting instructions for self-harm, in both communicative intent and the appropriate response. Prior work on overrefusal shows that models can reject benign requests containing language associated with unsafe content [Röttger et al. (2024)](https://arxiv.org/html/#bib.bib27). In SI disclosures, this conflation may lead models to withhold engagement from individuals expressing distress. Suicide-prevention guidance emphasizes acknowledging distress, maintaining engagement, and connecting individuals with appropriate support [Stanley and Brown (2012)](https://arxiv.org/html/#bib.bib29). Applied to conversational AI, these principles suggest that facilitating access to human support should accompany a sensitive response to the disclosure itself; simply refusing to respond, or providing only a crisis-resource referral, may leave the disclosure unaddressed [McBain et al. (2025a)](https://arxiv.org/html/#bib.bib16). 出典: Risk and Refusal: Mechanisms of LLM Responses to Suicidal Ideation（arXiv）

2つの異なる仕事

言語モデルは、有害な指示を拒否するよう訓練されることが多い。誰かが自分を傷つける方法を尋ねたとき、この境界は重要である。しかし、自殺念慮の開示は別の種類のメッセージである。苦痛を認識し、関わり続け、その人が人間の支援につながるよう助ける必要がある。

この2つの仕事には、どちらにも自殺や自傷行為に関する言葉が含まれるため、モデルから見ると似ているように見えることがある。それでもチャットボットは、リスクを見落としたり、存在しない支援先を作ったり、反応が強すぎたり、根拠のない自信を持って話したりしながら、思いやりがあるように聞こえることがある。拒否率だけでは、こうした失敗を捉えられない。

研究者らは、3つのソーシャルメディア投稿集合を使って、8つの指示チューニング済み言語モデルを検証した。内訳は、Redditのr/SuicideWatchからの1,504件、SH-Detectionからの1,500件、そして自傷行為とラベル付けされたX-Sensitiveからの243件である。比較したのは、追加情報なし、自傷行為に関係するメッセージだと示す分類ラベル、返信方法に関する臨床家の指針、そしてその両方という4つの設定である。

拒否をなくすことは、思いやりを教えることではない

結果は、チャットボット内部にある2つの制御を切り分けている。1つはモデルに拒否をやめさせることができる。もう1つは、その代わりに何を言うかを形作らなければならない。

研究者らはまず、モデル内部にある一般的な「拒否の方向」を特定した。これは自殺や自傷行為の例を使わずに見つけたものだが、6つのオープンウェイトモデルにおける自殺念慮の開示への拒否を予測した。研究者らがこの内部シグナルを弱めると、Phi-4-miniの明示的な拒否と、Llama-3.1-8Bの何らかの拒否は、3つのデータセット全体で0.7%以下に低下した。

これは、返信そのものを調べるまでは進歩のように聞こえる。6つの比較のうち5つでは、拒否シグナルを弱めることで、悪い応答のリスクが上昇したからである。閉ざされたドアを取り除いても、中にいる人にどう助ければよいかを教えたことにはならない。

モデルに分類ラベルだけを与えた場合にも、同じ問題が現れた。Redditのデータセットでは、リスクがあると判定された応答の割合が、GPT-4o-miniでは39.4%から56.7%に、Llama-3.1-8Bでは55.5%から71.8%に上昇した。センシティブな内容を検出するだけで、返信の安全性が下がることがある。

臨床家の指針によって結果が変わったのは、危険があると示すだけでなく、対応方法を説明したからである。測定された応答リスクは、24のモデル・データセット比較のうち22で大幅に低下した。指針と分類ラベルを組み合わせると、24の比較すべてで低下した。

研究者らは、独立したGPT-5-nanoの判定役を使い、返信を拒否と、起こりうる29種類の応答リスクについて採点した。分類ラベルと臨床家の指針の両方を使った場合、リスクがあると判定された応答は、Redditで1.9–3.3%、SH-Detectionで2.7–6.1%、X-Sensitiveで2.1–6.6%まで低下した。ここで主張されているのは、低いスコアによって返信が役に立ったと証明されるということではない。対応方法に関する一連の指示が、拒否だけを変えることではできなかったことを実現したということである。

この結果は、よくある2つの近道も弱める。安全性の指標として一律の拒否を使うことと、開示に関わり続ける代わりに定型的な危機支援窓口のメッセージを送ることである。安全なシステムには、有害な支援をめぐる境界線と、支援を求めている人の存在を認める方法の両方が必要である。

役に立つやり取りとはどのようなものか

夜遅く、自宅で、誰かが「生きていたくない」と入力する。このアプローチを取り入れたチャットボットなら、そのメッセージを認め、いまの安全に関する適切な質問をし、定型的な拒否でやり取りを終わらせるのではなく、信頼できる人や危機支援サービスに連絡するのを手助けするだろう。

この場面は依然として可能性であり、実証された結果ではない。検証に使われたのはソーシャルメディア上の単一の投稿なので、危機的な会話が何度かのやり取りを通してどう変化するかや、その人が返信にどう反応するかは示せない。研究者らも、自分たちのスコアから、返信が支えになると人々に感じられるか、より多くの支援を求めるようになるか、現実の生活でより良い結果につながるかは分からないと述べている。この種のシステムを実際の会話で使うには、その手順が複数回のやり取りを通じて機能し、正確な地域の支援先を使い、危機にある人々を対象に検証されなければならない。

出典

arXiv, 「Risk and Refusal: Mechanisms of LLM Responses to Suicidal Ideation」