arXiv
贝叶斯推理揭示了 AI 安全中的双重标准
AI 系统需要一致性检查，而不只是准确率分数，因为安全训练可能让它们谴责自己也在使用的推理。哈佛大学心理学家在超过 5,000 次试验中测试了 GPT-4o 和 Claude 3.7 Sonnet，发现两者都会根据与性别相关的基准率更新概率，却随后认为人类使用等价推理是不公平的。在福利办公室，如果部署者预先设定好规则，审计记录可以显示 AI 使用了哪些证据，以及申请人的身份改变后，它是否仍会采用同一规则。
一个用于筛选求职者、提供医疗建议或决定谁能获得救助的聊天机器人，可能在一次对话中给出统计上合理的答案，却在下一次对同样的逻辑加以否定。经过润色的回答并不能让这种矛盾容易被发现。只检查最终答案是否正确的测试，即使得分很高，也同样无法做到这一点。
当概率遇上公平
贝叶斯推理是一种更新猜测的方法。先从先验概率开始，比如某件事在一个群体中有多常见。然后加入新的证据，调整估计值。例如，医生可能同时参考总体发生率和患者的症状。
这种做法在统计上可能是恰当的，但在实际决策中仍可能不合适。雇主、贷款机构、学校、保险公司、医院和公共福利机构可能被限制使用与受保护特征相关的群体平均值，即使这些平均值有助于预测结果。
这就产生了语言模型必须处理的冲突。这些系统经过训练，要生成在具体语境中听起来可以接受的答案。人类反馈和书面原则会推动它们使用有关公平与平等的语言。但模型并不一定会从一个提示词到下一个提示词，始终保持一套清晰、可检查的信念。措辞、先前的消息、指令、采样设置和安全规则都可能改变它的回答。
测试中的矛盾
哈佛大学心理学家在五项实验中测试了 GPT-4o 和 Claude 3.7 Sonnet，进行了超过 5,000 次试验。这些任务是经过设计的故事，而不是关于真实个人的决策。其中包括医生和护士，以及飞行员和乘务员。
在这些故事中，模型通常会按照贝叶斯规则要求的方向调整概率估计。它们把与性别相关的信息作为计算的一部分。在一项任务中，模型通常给出护士做手术的概率为 0%。这使两个可能解释之间的比较在数学上变得极端。
接下来出现了关键转折。在作出贝叶斯判断后，每个模型都被要求评价一个假想的人：这个人对性别作出了结构上相对应的统计判断。模型称这个人不公平、不公正、不准确且不聪明。作者报告称，它们的反对程度强于人类对照组的反对程度。
在一项模拟资金分配的任务中，Claude 走得更远。当假想者的选择符合贝叶斯条件时，它什么钱也不给；而在平等主义条件下，它会给钱。GPT-4o 的选择只发生了轻微变化。模型刚刚自己使用过的同类推理，一旦被放到另一个人手中，就被视为在道德上不可接受。
这一结果并不表明模型具有意图或人类式的偏见。研究人员使用的是重复的 API 调用和受控提示词，而不是实际的就业或医疗决策。他们还报告称，问题的提问顺序，以及男性和女性目标出现的顺序，会以人类对照数据中没有出现的方式改变模型的回答。因此，这一发现是在这些条件下出现的行为失败，而不是对所有 AI 系统的断言。
一致性会带来什么变化
这里的教训并不是说概率总应该战胜公平规则。在福利办公室，工作人员可以看到一项带有审计记录的 AI 建议：系统被允许使用哪些证据、必须排除哪些群体层面的信息，以及如果申请人的身份互换，同一规则是否仍会适用。
这会让一致性成为一项要求，而不是一种希望。审计人员可以将模型的推理，与它对归因于另一个人的同一推理所作的判断进行比较。组织可以测试模型对措辞和等价案例的敏感度，同时进行常规的准确率测试。受到自动化建议影响的人，也可以知道哪些证据塑造了这一建议。
要让这样的未来成为现实，部署者必须预先设定决策政策，而不是要求聊天机器人用听起来合乎道德的回答来解决冲突。他们还需要跨模型、跨受试者、跨提示词和跨真实决策测试结果。仅有统计能力还不足以支撑高风险判断；系统必须对等价的推理给予等价的对待。