arXiv

语言模型用虚假地址隐藏家庭住址

2026年10月8日 09:30

聊天机器人可以用看起来可信的虚假信息替代个人隐私细节，而不是试图抹去它已经学到的信息，从而保护这些细节。论文作者在七个语言模型上测试了 Whiteout，并报告说，它阻止了直接和间接获取受保护数据的尝试。在客服柜台，这或许能让经过验证的个人从服务提供商的回答中删除旧地址——前提是每次修改都经过授权并有记录。

从网站上删除家庭住址、电子邮箱地址或出生日期，并不会把它从已经学会了这个人与该事实之间联系的语言模型中删除。模型并不会把这些信息保存在某个整齐的数据库行里，让人可以直接移除。重新训练整个模型成本高昂。拒答消息可以挡住普通问题，却仍可能让找到绕过方法的人获取这些信息。试图让模型遗忘，也可能损害它的其他能力。

为什么不该把它类比为遗忘

语言模型学习的是分散在许多内部设置中的模式。这让删除一个个人事实比删除电子表格中的一行更困难。微调是一种规模更小的额外训练任务，人们已经用它来教通用模型适应客户的用词、任务或偏好的表达方式。名为 Whiteout 的方案采用了同样的基本方法，但用途更加狭窄。

它的目标不是让模型在提到某个人时就保持沉默，而是改变模型与这个人建立的联系。这会带来取舍：一个模型如果给出编造的个人细节，或许可以避免泄露，但它也不再是该细节的可靠来源。

教模型一个安全的谎言

Whiteout 使用合成的“伪装”陈述训练模型。这些陈述把一个人与虚构的出生日期、电子邮箱地址或家庭住址联系起来。论文称，对于地址，系统会生成一个看似合理的位置，并确认该位置不存在。对于电子邮箱地址，系统会使用一个看起来合理但域名无效的地址。

这个想法更接近于覆盖一个标签，而不是重造整台机器。研究人员评估了七个模型：六个参数量从 30 亿到 200 亿不等的开放权重模型，以及通过微调 API 使用的 GPT-4o-mini。论文报告称，在应用 Whiteout 后的测试中，模型对直接和间接提问都实现了 100% 的保护。它的默认设置是为每个受保护的个人—数据组合使用 10 个伪装样本。

示例数量取决于模型学会原始联系的程度。在一项 Llama 3.2 实验中，当原始关联出现在不超过 1,000 个训练样本中时，10 个样本就能实现完全保护。当它出现在 10,000 个样本中时，则需要 100 个伪装样本。

论文报告称，在三个开放模型中保护多达 500 个出生日期请求后，有用性和安全性基准测试的分数仍接近初始水平。论文还报告说，在测试的越狱、提示词、量化、重新学习和擦除攻击中，成功率均为零。对于 GPT-4o-mini，作者估计，运行并评估一次保护请求的成本约为 $0.14。

Refer to caption — Figure 1: A high-level overview of Whiteout, which allows LLM models to achieve user-specific PSI protection upon requests. User uu submits a request to protect uu’s private attribute ρu\\rho\_{u} (e.g. birth date, home address). An external verifier confirms the legitimacy of the request. If approved, the LLM owner applies Whiteout to overwrite (thus break) the association between uu and ρu\\rho\_{u}. The updated LLM will not disclose ρu\\rho\_{u} when responding to queries about uu. Whiteout provides two practical advantages. First, it is efficient. Since user-PSI associations appear infrequently in training data, Whiteout can effectively overwrite them using a few camouflage samples. Second, Whiteout applies standard training with in-distribution data, avoiding parameter shifts that affect the model’s broad knowledge. Thus it achieves the targeted update while preserving model utility. 出处: Mitigating Private Data Leakage in LLMs with Whiteout（arXiv）

隐私修改需要留下记录

如果这项技术在测试之外也有效，客服柜台就可以处理这样的请求：一个人证明自己的身份，然后要求服务提供商停止公开其旧家庭住址。之后，聊天机器人在被问及这个人时，就不会提供通往真实地址的线索，即使该地址多年前就已被抓取。模型会被提供一个虚假位置，而不是被迫简单地拒绝回答。

这一未来取决于微调开始前的处理流程。研究假定，某个监管机构已经核验了请求者的身份和真实的敏感信息。服务提供商还需要保存记录，说明谁批准了每次修改。否则，同一个工具也可能让某人改写竞争对手的传记。作者说，这种方法也可以改变个人数据之外的真实事实，包括公共地标的地址和历史日期。

测试还没有涵盖这样一种攻击者：他根据另一个人已知的地址，或根据其他关系，推断出受保护的地址。因此，Whiteout 针对的是某个特定的已学习联系，而不是私人信息可能被重新构建的所有路径。如果独立测试证实这一结果，而且服务提供商能够可靠地验证请求，隐私删除就可能成为一种常规的模型更新。享受这种便利的代价，是接受模型的一些自信回答本来就是刻意合成的，并建立起让这些修改值得信任的验证和审计系统。

来源

arXiv，《Mitigating Private Data Leakage in LLMs with Whiteout》