arXiv

言語モデルは偽の住所で自宅住所を隠す

2026年10月8日 09:30

チャットボットは、学習した情報を消そうとする代わりに、もっともらしい偽の情報へ置き換えることで、人の個人情報を守れる可能性がある。論文の著者らは7つの言語モデルでWhiteoutを試し、保護対象のデータを直接、間接に取り出そうとする試みを阻止したと報告している。カスタマーサービスの窓口では、すべての編集が承認され記録されるなら、本人確認を受けた人が、プロバイダーの回答から古い住所を削除できるようになる可能性がある。

ウェブサイトから自宅住所やメールアドレス、生年月日を削除しても、すでに人とその事実との結び付きを学習した言語モデルからは削除されない。モデルはそうした情報を、誰かが取り除ける整然としたデータベースの1行として保存しているわけではない。モデル全体を再学習させるには費用がかかる。拒否メッセージは通常の質問を遮断できても、そのメッセージを回避する方法を見つけた人には、情報が利用可能なままになることがある。モデルに忘れさせようとすると、ほかの能力まで損なう可能性もある。

忘却という比較は適切でない

言語モデルは、多数の内部設定に分散したパターンを学習する。そのため、個人に関する事実を取り除くのは、スプレッドシートの1行を削除するより難しい。ファインチューニングは、一般的なモデルに顧客の言葉や作業、好みの文体を教えるためにすでに使われている、小規模な追加学習である。Whiteoutと呼ばれる提案は、同じ基本的な方法をより限定された目的に使う。

目的は、人について言及されるたびにモデルを黙らせることではない。モデルがその人と結び付ける情報を変えることである。そこにはトレードオフがある。作り上げた個人情報を答えるモデルは情報漏洩を避けられるかもしれないが、その情報について信頼できる情報源ではなくなる。

安全な偽情報をモデルに教える

Whiteoutは、合成した「カモフラージュ」文でモデルを学習させる。この文は、人と作り上げた生年月日、メールアドレス、自宅住所を結び付ける。論文によれば、住所については、システムがもっともらしい場所を作り、それが実在しないことを確認する。メールアドレスについては、もっともらしく見えるが無効なドメインを使ったアドレスを用いる。

この考え方は、機械全体を作り直すというより、1つのラベルを塗りつぶすことに近い。研究者らは7つのモデルを評価した。3 billionから20 billionパラメーターまでの6つのオープンウェイトモデルに加え、ファインチューニングAPIを通じたGPT-4o-miniである。テストでは、Whiteoutを適用した後、直接の質問と間接的な質問の両方に対して100%の保護を実現したと論文は報告している。デフォルト設定では、保護する人物とデータの組み合わせごとに10個のカモフラージュサンプルを使った。

必要な例の数は、元の結び付きがどれだけ強く学習されていたかによって変わった。Llama 3.2を使ったある実験では、元の関連付けが最大1,000個の学習サンプルに現れていた場合、10個のサンプルで完全な保護が得られた。それが10,000個のサンプルに現れていた場合は、100個のカモフラージュサンプルが必要だった。

研究者らが3つのオープンモデルで最大500件の生年月日に関する要求を保護した後も、有用性と安全性のベンチマークスコアは開始時の水準に近いままだったと論文は報告している。また、テストしたジェイルブレーク、プロンプト、量子化、再学習、消去の攻撃について、成功数はゼロだったとも報告している。GPT-4o-miniでは、保護要求1件の実行と評価にかかる費用は約$0.14だと著者らは見積もっている。

Refer to caption — Figure 1: A high-level overview of Whiteout, which allows LLM models to achieve user-specific PSI protection upon requests. User uu submits a request to protect uu’s private attribute ρu\\rho\_{u} (e.g. birth date, home address). An external verifier confirms the legitimacy of the request. If approved, the LLM owner applies Whiteout to overwrite (thus break) the association between uu and ρu\\rho\_{u}. The updated LLM will not disclose ρu\\rho\_{u} when responding to queries about uu. Whiteout provides two practical advantages. First, it is efficient. Since user-PSI associations appear infrequently in training data, Whiteout can effectively overwrite them using a few camouflage samples. Second, Whiteout applies standard training with in-distribution data, avoiding parameter shifts that affect the model’s broad knowledge. Thus it achieves the targeted update while preserving model utility. 出典: Mitigating Private Data Leakage in LLMs with Whiteout（arXiv）

プライバシーの編集には記録が必要である

これがテストの外でも機能するなら、カスタマーサービスの窓口では次のような要求に対応できる。ある人が本人確認を済ませ、プロバイダーに古い自宅住所を表示しないよう求める。その後、その人についてチャットボットに尋ねても、住所が何年も前に収集されたものであっても、実際の住所にたどり着く方法は示されない。モデルには、単に回答を拒否させるのではなく、偽の場所を与えておくことになる。

この未来には、ファインチューニングを始める前の手続きが必要である。この研究は、規制機関がすでに要求者の身元と、本物の機微な情報の両方を確認していることを前提としている。プロバイダーには、各編集を誰が承認したかを示す記録も必要になる。そうでなければ、同じツールによって、誰かがライバルの経歴を書き換えられてしまう。著者らによれば、この方法は個人情報以外の真実の事実も変えられる。公共のランドマークの住所や歴史上の日付も含まれる。

テストには、別の人物の既知の住所や、ほかの関係性から保護された住所を推測する攻撃者も含まれていない。つまりWhiteoutが対象にするのは、学習された特定の結び付きであって、個人情報が再構成されるあらゆる経路ではない。独立したテストで結果が確認され、プロバイダーが要求を確実に認証できるなら、プライバシーの削除はモデルの定期的な更新になる可能性がある。その利便性の代償は、モデルが自信を持って答える情報の一部が意図的に合成されたものだと受け入れること、そして、そうした編集を信頼できるものにする検証と監査の仕組みを構築することである。

出典

arXiv, “Mitigating Private Data Leakage in LLMs with Whiteout”