arXiv
法的な役割を与えると、言語モデルは事件記録を拒否する
プロンプトで専門職の役割を示すと、リクエストが明確になるどころか、ローカル言語モデルが無害な法務作業を拒否することがある。著者らは小規模なオープンウェイトモデル4種類をテストし、法的権威を示す接頭辞を加えると、実際の法的文書に対するLlamaの拒否率が19.0%から40.3%に上がることを見つけた。このパターンが当てはまるなら、法律扶助事務所が非公開のアシスタントを事件の要約に使うには、職員が実際に扱う役割、言語、文書でテストしてからにする必要がある。
裁判所や弁護事務所は、機密性の高い事件記録をローカルの言語モデルに置いたまま、そのツールが要約を拒否することに気づくかもしれない。犯罪、暴力、性犯罪について書かれた段落は無害な事件資料であっても、モデルはそうした言葉を警告サインとして扱うことがある。その結果、職員は、ローカルAIを魅力的にした時間短縮の支援を失う。つまり、ファイルを外部サービスに送らずに済むという機密性である。
無害な法務作業が危険に見える理由
言語モデルは、危害、犯罪、虐待に結びつくリクエストを拒否するよう訓練されている。誰かを傷つける方法を尋ねられたときには、この安全訓練は役に立つ。しかし、そのようなリクエストに似ているだけの合法的な依頼まで、モデルが拒否することもある。
小規模なオープンウェイトモデルは、組織内のコンピューターで動かせる。そのため法律事務所は、機密文書を手元に置いておける。それでも、通常の法務テストでは、モデルが法律を知っているか、法律について推論できるかを測ることが多い。ユーザーが弁護士だと伝えられた後でも無害な依頼への回答を続けるか、職員が使う言語の文書を扱えるかは、テストしないことがある。
拒否率が低ければ十分というわけでもない。モデルは危険なリクエストを拒否しながら、正当なリクエストには答えなければならない。問題は、その境界を見つけることである。
プロンプト内の役割が引き金になる
著者らは、暴力、性犯罪、有害な行為、違法行為、非倫理的な行動についての無害なプロンプトを使い、複数の小規模なローカルモデルをテストした。各プロンプトについて、役割を付けない場合、弁護側の弁護士という役割を付けた場合、国の最高裁判所の弁護士という役割を付けた場合、そして脱獄型の接頭辞を付けた場合を試した。脱獄型とは、モデルが通常従う安全ルールを押し切ることを意図した文言である。
中心的な発見は、法的な役割そのものが拒否を増やすことが多かった点である。Llama、Gemma、Apertusでは、権威を示す接頭辞によって拒否が有意に増えた。GemmaとApertusでは、明示的な脱獄型接頭辞よりも多くの拒否が生じた。Qwen3は最初から拒否がほとんどなく、権威を示す文言による有意な変化も見られなかった。
同じパターンはフランス語とドイツ語でも現れたが、大きさは言語によって異なった。次にテストは作成したプロンプトから実際の法的文書へ移った。対象は、スイス連邦最高裁判所の刑事法判決にある事実関係の部分である。1,652段落全体で見ると、Llamaの拒否率は法的な接頭辞なしの19.0%から、接頭辞ありの40.3%に上がった。英語の文書では、18.8%から69.0%に上がった。Apertusでもフランス語で同様に言語特有の変化が見られ、1.1%から19.3%に上がった。
仕組みは単純だが、見落としやすい。専門職の役割を加えるのは通常、モデルに役立つ文脈を与えるためである。ここでは、それによってモデルがリクエストの内容をどう捉えるかも変わる。ユーザーが事実を抜き出してほしいだけであっても、モデルは刑事法に関する文言の隣にある「最高裁判所の弁護士」を、危険性を示すより強いシグナルとして読むことがある。
頼りになるローカルアシスタントの姿
法律扶助事務所では、ケースワーカーが警察報告書の匿名化した段落をローカルアシスタントに入れ、事実を整理した要約を受け取れるようになるかもしれない。申し立てられた犯罪について記述する言葉を削除したり、自分が弁護士ではないふりをしたりする必要はない。その未来は、職員が実際に使う役割、言語、事件資料を使ってモデルをテストし、合法的な事件処理と有害な指示を求めるリクエストを分けられるよう調整できるかにかかっている。
この論文はarXivのプレプリントであり、その結果がすべてのローカルモデルに当てはまることを保証するものではまだない。著者らは、テストしたプロンプト数が限られていること、機密性の高い刑事法文書へのアクセスが限られていること、間接的な拒否を見分けるのが難しいことなどの限界を指摘している。より広いテストでこの発見が確認されれば、一般的な法務ベンチマークだけでは不十分になる。法律組織は、アシスタントに実際に期待する仕事の条件そのものをテストしなければならない。