arXiv

語言模型用虛假的住址藏起真實住址

2026年10月8日 09:30

聊天機器人可以用看似可信的虛假資料取代個人私密資訊，而不是試圖抹除它學到的內容，藉此保護個人資料。論文作者在七個語言模型上測試了 Whiteout，並表示它阻擋了直接和間接取得受保護資料的嘗試。在客服櫃檯，這可能讓經過身分驗證的人，要求服務提供者停止在回答中提供舊住址，前提是每次修改都經過授權並留下紀錄。

從網站上刪除住址、電子郵件地址或出生日期，並不會把它從已經學會這個人與該事實之間關聯的語言模型中刪除。模型不會把這類資訊整齊地存放在某個可以移除的資料庫欄位裡。重新訓練整個模型的成本很高。拒答訊息可以阻擋一般問題，卻仍可能讓找到繞過方法的人取得這些資訊。試圖讓模型忘記，也可能損害它的其他能力。

為什麼不該拿「忘記」來比較

語言模型會從分散在許多內部設定中的模式學習。這讓個人事實比試算表中的一行資料更難移除。微調是一種規模較小的額外訓練工作，原本就用來教導通用模型學習客戶的用字、任務或偏好的風格。Whiteout 的提案使用了同樣的基本方法，但目的更狹窄。

它的目標不是只要提到某個人，模型就保持沉默。它會改變模型與這個人建立的關聯。這造成一項取捨：提供虛構個人資料的模型或許能避免洩漏，但它也不再是可靠的資料來源。

教模型一個安全的謊言

Whiteout 會用合成的「偽裝」陳述訓練模型。這些陳述把某個人和虛構的出生日期、電子郵件地址或住址連結起來。論文指出，針對住址，系統會建立一個合理的地點，並確認它不存在。針對電子郵件地址，系統會使用看似合理、但網域無效的地址。

這個想法比較像是在一個標籤上重新塗漆，而不是重建整台機器。研究人員評估了七個模型：六個參數量介於 3 billion 到 20 billion 的開放權重模型，再加上透過微調 API 使用的 GPT-4o-mini。論文報告稱，在套用 Whiteout 後，測試中對直接和間接問題的保護率都是 100%。它的預設設定，是為每個受保護的「個人—資料」配對使用 10 個偽裝樣本。

範例的數量取決於模型原本學會這項關聯的強度。在一項 Llama 3.2 實驗中，當原始關聯出現在最多 1,000 個訓練樣本裡時，10 個樣本就能提供完整保護。當它出現在 10,000 個樣本裡時，則需要 100 個偽裝樣本。

論文報告稱，在三個開放模型中保護最多 500 個出生日期請求後，用來衡量實用性和安全性的基準測試分數仍接近起始水準。論文也報告，在測試的越獄、提示、量化、重新學習和抹除攻擊中，成功率都是零。至於 GPT-4o-mini，作者估計執行並評估一次保護請求的成本約為 $0.14。

Refer to caption — Figure 1: A high-level overview of Whiteout, which allows LLM models to achieve user-specific PSI protection upon requests. User uu submits a request to protect uu’s private attribute ρu\\rho\_{u} (e.g. birth date, home address). An external verifier confirms the legitimacy of the request. If approved, the LLM owner applies Whiteout to overwrite (thus break) the association between uu and ρu\\rho\_{u}. The updated LLM will not disclose ρu\\rho\_{u} when responding to queries about uu. Whiteout provides two practical advantages. First, it is efficient. Since user-PSI associations appear infrequently in training data, Whiteout can effectively overwrite them using a few camouflage samples. Second, Whiteout applies standard training with in-distribution data, avoiding parameter shifts that affect the model’s broad knowledge. Thus it achieves the targeted update while preserving model utility. 出處: Mitigating Private Data Leakage in LLMs with Whiteout（arXiv）

隱私修改需要留下紀錄

如果這種方法在測試之外也有效，客服櫃檯就可以這樣處理請求：某人證明自己的身分，要求服務提供者停止公開一個舊住址。之後，聊天機器人被問到這個人時，就不會提供通往真實住址的線索，即使那個地址多年前已被刮取。模型會被提供一個虛假的地點，而不是被迫單純拒絕回答。

這樣的未來取決於微調開始前的一套流程。這項研究假設，某個監管機構已經確認請求者的身分以及真正的敏感資料。服務提供者也需要留下紀錄，說明每次修改是由誰批准的。否則，同一個工具可能讓某人改寫競爭對手的生平。作者表示，這種方法也能改動個人資料以外的真實事實，包括公共地標的地址和歷史日期。

測試也排除了這樣的攻擊者：他可以從另一個人已知的地址，或從其他關係中推斷出受保護的地址。因此，Whiteout 處理的是特定的已學習關聯，而不是所有可能重建私人資訊的途徑。如果獨立測試確認這項結果，而且服務提供者能可靠地驗證請求，移除隱私資料就可能成為例行的模型更新。這種便利的代價，是接受模型信心十足的回答中有些是刻意合成的，並建立驗證與稽核系統，讓這些修改值得信任。

來源

arXiv，「以 Whiteout 減輕 LLM 的私人資料洩漏」