arXiv

言語モデルの英語向け安全ガードレールは、十分な支援を受けていない言語では機能しない

2026年10月26日 08:30

英語の安全ルールは、AIモデルが十分な支援を受けていない言語を扱うとき、検索可能な弱点になりうる。研究者らは、広く使われている10のモデルに、78の低リソース言語へ翻訳した有害なプロンプトを入力してテストした。その結果、英語では安全に回答したプロンプトの平均バイパス率は21.9%から44.4%に達した。診療所では、モデルが流暢な人間によるレビューを使ってテストと保守を行われていれば、患者は母語でも同じ安全な回答を受け取れる可能性がある。

英語では危険な要求を拒否するAIアシスタントが、同じ要求を十分な支援を受けていない言語で書くと回答することがある。これは、その言語を話す人々にとって単なる不便ではない。企業は多言語対応を宣伝しながら、ユーザーの安全を守る部分を主に英語でテストできてしまう。システムを導入するユーザーや組織には、その安全ルールが製品とともに移行しているかどうかを知る手段がないかもしれない。

翻訳で安全ルールが消える理由

安全性のアラインメントとは、モデルに対して、有害な要求をいつ拒否し、安全に方向転換するかを教える訓練である。しかしモデルはまず、要求が書かれた言語を理解しなければならない。低リソース言語には、デジタル化されたテキストが少なく、テスト用データセットも少ない。通常、訓練や安全性のチェックに含まれる割合も小さい。

研究者らは、この種の失敗を「翻訳バイパス」と呼ぶ。まず、モデルが英語で安全に回答するプロンプトを用意する。次に、同じプロンプトを低リソース言語へ翻訳し、モデルが安全でない回答をするかどうかを確認する。これは、英語ですでに安全でないモデルでは、言語固有のギャップが明らかにならないため重要である。

このギャップの測定は難しい。翻訳によって要求の意味が変わることがあり、回答を英語に戻す翻訳によってモデルの応答がゆがむこともある。拒否率だけでも不十分である。モデルは、明らかな拒否表現を使わずに有害な要求へ回答することもあれば、無害な要求を拒否することもある。

Refer to caption — Figure 1: Pipeline of the Unsafe Evaluation.To monitor translation quality, professional translators with safety expertise reviewed a sampled subset of languages and prompts, including prompt translations, model outputs in the target language, and English translations of model outputs. Each item was rated on a four-point scale (Perfect, Great, Fair/Poor, Nonsense/Unintelligible) for semantic fidelity and grammatical fluency. Any language with poor translation and poor response quality was removed. This provides assurance that the prompt translations are generally faithful to the intended meaning. The audit covered 5 in-sample and 1 out-of-sample language at 133 items each; the reviewed responses were drawn from a separate generation run, so the audit speaks to translation fidelity rather than to the specific completions scored in our analysis. 出典: Global Security Blind Spots: Translation as a Safety Bypass in Low-Resource Languages（arXiv）

反対側からテストされた安全境界

この研究では、広く使われている10の言語モデルに対し、英語と20の言語族に属する78の低リソース言語で、119の有害なプロンプトを使って評価を行った。プロンプトとモデルの回答のバックトランスレーションには、いずれもGoogle Translateを使った。GPT-4oが、バックトランスレーションされた回答に安全または安全でないというラベルを付けた。

中心となる比較は、英語では安全だったプロンプトと、その翻訳版との間で行った。これらのプロンプトのうち、低リソース言語で安全でない回答に変わった割合の平均は、モデルによって21.9%から44.4%まで幅があった。英語では安全だった一部のプロンプトは、78の翻訳版のうち少なくとも16で安全でない回答を引き出した。少数のプロンプトでは、少なくとも39の言語で失敗した。

弱点は均等に広がっていなかった。同じモデルでも、言語族間のバイパス率には9から34ポイントの差があり、差の中央値は20ポイントだった。研究者らはまた、壊れているように見える回答、反復的な回答、その他の品質の低い回答を取り除いた後も、言語族による影響が統計的に有意なままだったことを見いだした。

ただし、測定には限界がある。バックトランスレーションの一部は短い、途中で切れている、反復的である、または多様性が低いものだった。これらは、英語で安全だった評価行の14.1%を占めた。研究者らによれば、回答の品質と安全でない挙動には強い関連があるため、どの言語についても正確な率がどの程度ゆがめられているかは分からない。この研究では、1つの翻訳システム、1つの自動安全性判定器、有限数の単一ターン・プロンプトを使った。悪用への懸念から、プロンプトや、モデル・言語・カテゴリー別の詳細な結果は公開していない。

より安全な導入とはどのようなものか

地域の診療所では、患者が母語でチャットボットに助けを求め、英語を話す患者が期待するものと同じ危機に対応した安全な回答と、危険な指示への同じ拒否を受け取れる可能性がある。それが可能になるのは、モデルが実際に使われる言語について、流暢な人間によるレビューを使ってテストと保守が行われる場合に限られる。

この発見は、安全性レポートが証明すべき内容も変える。英語だけのレポートは、世界規模で導入されるモデルの十分な証拠ではない。モデルが回答できる言語の数を数えるだけでも不十分である。安全性チームは、攻撃者のように言語のまとまりをテストする必要がある。つまり、英語の要求は安全なままにして、翻訳後に安全でない回答がないかを探すのである。

独立した翻訳者とバイリンガルの人間によるレビューがこの結果を確認すれば、多言語の安全性テストは最終的なローカライズ確認ではなく、セキュリティテストの一部になる。企業の購入担当者や行政機関は、モデルの供給元に対して、言語ごとの安全性の証拠を求められるようになる。多言語のコールセンターでは、言語を切り替えることが、アシスタントが言おうとする内容の切り替えを意味する必要はなくなる。ただし、それは翻訳されたベンチマークのスコアを超えて、そうした制御がテストされている場合に限られる。

出典

arXiv, “Global Security Blind Spots: Translation as a Safety Bypass in Low-Resource Languages”