arXiv
健康聊天机器人的安全，取决于你之前告诉过它什么
健康聊天机器人不能只根据措辞来判断是否安全；它还必须根据自己已经了解的用户脆弱性采取行动。作者分析了来自四个国家用户的 15,555 段真实健康对话，并分别在有无先前披露信息的情况下给答案评分。如果这些记忆准确、私密且由用户控制，那么深夜询问锻炼的问题，可能会触发对用户曾做过手术的警告，而不是得到一套危险的锻炼方案。
如今，健康聊天机器人可能只听到了眼前的问题。它也许不知道，询问锻炼计划的人做过手术、正在服用某种药物、患有溃疡，或者曾经描述过自杀想法。因此，一份听起来谨慎的回答，对这个特定的人来说可能是错误的。它可能推荐危险的做法，或者在正确的下一步应该是转介给专业人士时，却提供安慰。
为什么个人经历会改变答案
健康建议取决于一些很容易在单个问题中遗漏的细节。一个人的诊断、怀孕状态、用药、受伤情况、心理健康风险，以及获得医疗服务的能力，都可能改变什么才是安全的。临床系统正是出于这个原因使用患者病史：一项普通建议与这个人的完整经历放在一起看时，可能会变成警告，或变成紧急转诊。
聊天机器人可以保留对话记忆，也可以获得先前的消息。这会带来一种权衡。同一段能够阻止有害建议的经历，也属于敏感的个人信息。记忆太少的系统可能错过危险；而一个在不给用户控制权的情况下使用过多信息的系统，则可能把保护变成监视。
这里的证据来自用户捐赠的对话，而不是虚构的患者。作者分析了 1,252 名来自印度、尼日利亚、巴西和巴基斯坦的用户捐赠的 202,590 段 ChatGPT 对话中的 15,555 段健康对话。这些对话的时间跨度为 2022 年 12 月至 2026 年 2 月。参与者捐赠了完整的 ChatGPT 历史记录，并由其设备上的脚本在上传前移除了个人信息。作者称该样本为非代表性的便利样本，因此无法确定这些模式在各国有多常见。
记忆何时会改变安全评分
这篇预印本检验了一个简单的问题：当聊天机器人接受评估时，同时把用户此前披露的健康信息放在旁边，答案看起来是否会不同？首先，自动评估器在不提供这些历史信息的情况下评估了每个答案。在这种不考虑上下文的评估中，四个国家有 20.6% 到 26.3% 的健康对话被评为高风险。涉及疾病和医疗的问题中，这一比例更高，为 39.8% 到 47.7%；症状问题则为 33.4% 到 40.3%。
随后，作者研究了 427 名用户的 5,657 段对话；这些用户此前的历史记录中透露了相关个人信息。提供累积的上下文后，高风险对话的比例上升了 13.4 到 16.6 个百分点。在没有上下文时看起来低风险的对话中，有 25.2% 到 26.3% 在加入上下文后进入了高风险类别。健身、生活方式和指导类对话的增幅最大，进入这一范围的比例上升了 26.1 到 30.0 个百分点。
这并不意味着用户受到了伤害。这些分数是 Gemini 3.1 Pro Preview 根据已发布的评分标准作出的判断，而不是观察到的健康结果。作者对 128 段高风险对话进行了编码，并反复发现以下问题：缺少转介专业人士，建议错误或有害，治疗或剂量建议不安全，强化有害行为或依赖，以及不安全的诊断。
这揭示了一种单问题测试可能错过的失效模式。一个通用回答对普通用户来说可能显得谨慎，但对聊天机器人已经了解的那个人来说，却可能变得不安全。
如果记忆受到控制，聊天可以更安全
在深夜的厨房里，一个询问锻炼计划的人可能会看到助手在建议高强度核心训练前停下来，因为它识别出对方曾披露做过腹部手术。它可能会建议对方咨询临床医生。在一次关于前任伴侣的私密聊天中，它可能避免助长已有记录的自杀反刍，并指引用户立即寻求他人的帮助。
只有当记忆准确、相关、由用户控制，并且受到保护以免被滥用时，这些场景才有可能实现。要确认这一发现，仍需要覆盖面更广、经过临床验证的样本。健康助手还需要保护隐私的记忆控制机制：既能利用必要的历史记录来发现禁忌，又不会把这些历史记录变成无边界的监视。论文还报告称，在其收集的数据中，随着模型版本变化，风险并未下降，不过它无法完全将模型影响与时间因素和用户选择区分开来。