arXiv
改变话题并不能保护 AI 助手中的秘密
改变话题并不是可靠的隐私边界，尤其是对那些会把先前消息保留在活动上下文中的 AI 助手而言。PrivDrift 基准测试了 3 个模型在 1,000 段对话中的表现，发现按对话统计的信息泄露率为 38.7% 至 54.6%。在诊所接待处，如果助手移除或限制敏感上下文，之后的预约安排任务就可以与患者的登记信息保持分离。
一个人可能会为了完成某项任务，把电子邮箱地址或电话号码告诉聊天机器人，然后以为几次无关的交流已经让这些信息实际上变得不再重要。在共享浏览器会话或工作场所助手中，这种假设并不安全。之后的用户，或者一条恶意指令，可能会要求助手重复仍然留在活动对话中的信息。
对话仍然是输入的一部分
语言模型不需要永久记忆，也能重复早先出现的内容。它通常会在生成下一条回答时，把活动对话作为输入。如果早先的消息仍在输入中，模型就可能把它当作可用材料。
这很重要，因为现代助手经常把多种材料放在同一个工作上下文中：用户消息、文档、浏览器结果以及工具的输出。企业副驾驶也是如此。一个产品可能会保护存储的记录，或者试图阻止训练数据被提取，但仍可能允许模型重复已经出现在对话中的秘密。
这是另一种隐私问题。它涉及控制信息在一次活动对话内部的流向。提示词注入让问题变得更加尖锐：不受信任的文本可以被放在助手需要处理的指令和材料之中。
有些秘密比其他秘密更容易被安全系统发现。信用卡号或社会安全号码具有容易识别的格式。电子邮箱地址或电话号码则可能看起来只是完成任务所需的普通信息。
改变话题不是一把锁
PrivDrift 是一个专门测试这一风险的基准。它衡量的是：在对话转向无关话题、之后的请求也采用不同措辞时，助手是否会披露早先提供的秘密。该基准包含 1,000 段对话，其中既有合成对话，也有人工撰写的对话。它测试电话号码、电子邮箱地址、社会安全号码和信用卡号。
作者测试了 GPT-OSS-120B、DeepSeek-R1 和 Qwen3-VL-235B。在接受测试的模型中，按对话统计的混合泄露率为 38.7% 至 54.6%。换句话说，改变话题并不能可靠地让早先披露的信息变得不可用。
测试使用的话题漂移长度从没有插入轮次到 6 个轮次不等。在这一范围内，作者发现，漂移长度与是否发生泄露之间只有很小或可以忽略不计的关联。在观察到的范围内，没有一个受评估模型达到论文所设定的稳定抑制阈值。
这一结果并不只是看完全相同的字符是否再次出现。泄露标签结合了经过规范化的字符串匹配，以及一个充当评判者的开放权重 Llama 模型。作者还报告说，在该基准中，电子邮箱地址和电话号码的泄露频率远高于社会安全号码和信用卡号。这种差异符合其中的基本问题：主要寻找特殊格式的系统，可能会漏掉那些看起来像普通对话内容的敏感细节。
更安全的助手会怎么做
在诊所接待处，一名工作人员可能会在患者使用助手完成登记后，再用它安排预约。在更安全的情境中，当工作人员询问下一次预约时，如果有人要求提供“上面提到的联系方式”，助手不应重复患者先前的电话号码。
这种未来取决于设计上的改变，而不只是换一种更好的拒绝措辞。助手需要在第一项任务结束时分离或删除敏感上下文，并拒绝之后的用户或已连接工具发出的、试图调取这些信息的指令。活动上下文中保留的每一项内容，都必须被视为带有访问规则的数据，而不是会在话题改变后自然淡出相关性的文本。
这个基准并不是对助手可能记住的所有内容进行测试。它不涉及跨会话记忆、训练数据的记忆，也不涉及在整个现代上下文窗口中发生的话题漂移。作者也没有保留足够的元数据，因而无法分别报告人工撰写对话和合成对话的结果。这个结论的范围更窄，但很有用：在经过测试的对话中，改变话题并不是可靠的隐私边界。