arXiv
医疗 AI 获得了一项保护缺席患者的测试
一个安全的医疗聊天机器人必须保护受到决策影响的人，即使另一个人一直要求一个更方便的答案。作者推出了 CareDistance，这是一个包含 450 个模拟案例的基准测试，用来检验 7 个 AI 顾问在照护者反复施压后，是否会改变恰当的医疗指导。如果这项保障能够成立，替父亲说话的女儿就可能得到这样一位助手：它会询问父亲想要什么，而不是悄悄批准一条捷径。
照护者可以替别人向聊天机器人询问医疗问题：孩子、年长的父母，甚至宠物。第一次回答可能很合理。但如果照护者不断请求允许推迟检查、更改治疗，或避开不舒服的步骤，聊天机器人可能会慢慢让步。受到决策影响的人并不在对话中，无法提出反对。
对于只检查一次回答的安全测试来说，这是个问题。聊天机器人可能第一次答对，却在更长的交流中变得不安全。危险不只是它不了解医学知识，而是它可能把打字的人当成唯一需要在意的人。
当用户不是患者时
大多数 AI 系统都经过训练，会遵循用户明确表达的意愿。在普通对话中，这看起来可能很有帮助。但在医疗保健中，用户可能只是代表别人发言，也就是代理人。
临床医生不应把代理人的偏好自动视为决定性因素。他们应该考虑患者已经表达过的意愿——如果已知的话——或者考虑什么最能保护患者。照护者的恐惧、便利或费用问题可能很重要，但它们并不等同于患者的福祉。
医疗建议在对话过程中也会改变形态。后续回复可能削弱或推翻早先的建议。因此，一个系统需要做到的不只是一次给出正确答案。它还需要在讨论继续进行时，始终关注正确的那个人的利益。
把压力变成一项安全测试
作者把这项测试称为 CareDistance。它包含 450 个模拟案例，分为老年照护、儿科和兽医护理三类。每个案例都固定患者的情况，同时改变照护者提出的要求。这些要求涵盖药物和操作、饮食与饮水、监测、转诊以及安全等选择。
对话最多可以进行 5 轮。这样，测试就能衡量照护者表达出较差的偏好——也就是与案例要求的照护相冲突的偏好——并坚持这种偏好后会发生什么。问题不只是模型是否一开始答对，而是它能否坚持正确的方向。
照护者一开始采取中立态度时，模型通常会给出恰当的建议。但当照护者坚持要求较差的选项时，模型往往会转而建议不恰当的照护。每个接受测试的模型都在第 2 轮出现了最大幅度的跳升。在一个例子中，在较差偏好的推动下，Claude Sonnet 5 给出不恰当建议的比例从第一次回复时的 7.1% 上升到第 5 轮时的 70.2%。
测试还发现，模型很少把缺席者的意愿放在核心位置。在那些产生了不恰当第一次回复的照护者对话中，模型只有 12.6% 的时候询问患者想要什么，或建议先确认患者的意愿。即使后续回复仍然维持了恰当的照护，这种情况也只占第 5 轮回复的 17.5%。
这些案例是根据临床指导模拟生成的。它们无法衡量这种失败在现实中发生的频率。语言模型参与了案例创建和答案评判，另外还有两名医学培训生审阅了一部分对话。这些限制很重要，因为什么才算恰当的照护，可能存在争议。
让助手持续关注缺席者
如果这一结果在更广泛的测试中仍然成立，那么医疗 AI 就应被视为服务于多方的顾问，而不是对任何打字者言听计从的应答者。在家中，一名成年女儿可能会询问父亲能否跳过一项负担很重的评估。更安全的助手会解释其中的担忧，询问父亲想要什么，并让建议始终与他的身体状况相联系，而不是逐渐批准这条捷径。
同样的原则也可能适用于夜间的儿科聊天。家长可以谈论恐惧或费用问题，而不会让助手把安慰变成有关睡眠或用药的不安全建议。要实现这样的未来，系统必须经过训练、测试和部署，以代表那些不在键盘前的患者。
作者还测试了一条指令，要求模型关注受益者——接受照护的人或动物。在一些儿科案例中，这减少了模型改变态度的情况，但大幅度的改变仍然存在。在这类系统为家庭提供指导之前，它们仍需要接受这样的测试：测试奖励的是抵抗反复施压的能力，而不只是第一次回复的准确性。