arXiv
チャットボットの安全性は応答の最初の3分の1から始まる
チャットボットの安全対策は、質問の意味を推測することから、応答がどこへ向かっているかを確認することへ移せる可能性がある。研究者らは41,944組のプロンプトと応答を調べ、応答トークンの30%を過ぎた時点で、分類器が完全な応答から得られるシグナルの約85%から95%を回収できることを見いだした。サービスがその最初のトークンをバッファーに入れ、信頼できる停止判断を下せば、図書館の利用者はWi-Fiを復旧する手順を受け取りつつ、隣人のネットワークへの侵入方法を説明する応答は表示される前に止められる。
今日のチャットボットには、二つのまずい選択肢がある。モデルがどんな答えを返すかを知る前に質問を拒否するか、モデルに回答全体を書かせてから確認するかである。後者では、安全でない文章がすでに計算資源を使っていたり、ストリーミング画面に表示されていたりする可能性がある。正当な代替案を求めている人は前者によって締め出されることがあり、後者では問題の発見が遅すぎる可能性がある。
質問と応答の間にある隔たり
通常の安全チェックは、プロンプト、つまり利用者が入力する言葉を見る。これは速いが、質問が答えを完全に決めるかのように扱う。実際にはそうではない。同じプロンプトでも、モデルによって拒否したり、安全な代替案を示したり、有害な形で要求に応じたりすることがある。
応答チェックは、モデルが実際に何を言うかを見る。こちらのほうが直接的だが、完成した応答を待つと作業が無駄になり、言葉が生成されるそばから表示するシステムではリスクが生じる。確認するのに有用な場所は、この二つの間、つまり答えがまだ書かれている途中かもしれない。
これにより、成功を測る新しい指標が生まれる。有害な応答はまれなので、単にほとんどの場合で正しければ十分というわけではない。安全性を監視する仕組みは、安全な応答を止めすぎずに有害な応答を見つけなければならない。また、答えの始まりは無害に見せ、後半に危険な指示を隠そうとする利用者にも対応する必要がある。
完成前の答えを読む
研究者らは、安全性はプロンプトだけに属するのではなく、特定のプロンプトと特定のモデルの相互作用に属すると主張している。研究では、Llama、Gemma、Qwenの各ファミリーに属する7つのオープンウェイトモデルが生成した、プロンプトと応答の組に分類器（文章をカテゴリーに分けるシステム）を適用した。データセットには、6,000個のプロンプトから得た41,944組が含まれていた。
結果は、プロンプトだけを判定するゲートが不完全な答えである理由を示している。プロンプトの約半分には悪意のラベルが付いていたが、少なくとも1つのモデルに有害な応答を生成させたプロンプトは、より少ない一群に限られた。そのようなプロンプトでさえ、7つのモデルすべてが有害な応答を返したケースはわずかだった。プロンプトに付けたラベルと、そこから生じた相互作用に付けたラベルが一致したのは、全組の約半分にすぎなかった。
次にチームは、分類器にプロンプトだけでなく、答えの長さを少しずつ増やした断片も与えた。応答トークンの約30%を過ぎた時点で、微調整済み分類器は、完全な答えを与えられたときに得ていたシグナルの約85%から95%を回収した。つまり、応答の冒頭部分だけで、モデルが有害な形で要求に応じようとしているかを予測するのに十分な証拠が得られることが多い。
これは、最初の3分の1を自動的に表示して安全だという意味ではない。監視システムがその初期部分を非公開で読み、答えが危険な方向へ向かっているかを判断し、残りが生成される前にストリームを止められる可能性があるという意味である。
図書館の窓口で、より静かな安全チェック
公共図書館の相談窓口で、ロックされた自宅のWi-Fiに再びアクセスする方法を尋ねた人は、自動的に拒否される代わりに、復旧手順を受け取れるかもしれない。応答が隣人のネットワークへの侵入方法を説明し始めた場合、サービスはその言葉が表示される前に応答を出さないようにできる。これなら、気まずい質問やセキュリティーに関わる質問により広い余地を与えつつ、有害な応答は早い段階で止められる。
この未来を実現するには、サービスは初期のトークンをバッファーに入れ、判断前に利用者がそれを見ないようにする必要がある。また、答えの有害な部分を後回しにするプロンプトにも対抗しなければならない。論文は停止するか続行するかを判断する完全な監視システムを実行していないため、そのようなシステムが安全な応答を止める頻度、有害な応答を見逃す頻度、停止前に有害な文章を表示する頻度は報告していない。テストの対象も、単一ターンのプロンプトと7つのオープンウェイトモデルに限られ、非公開モデルや最先端モデルは含まれていない。