arXiv
一份 AI 摘要会改变核查它所需的记忆
AI 摘要可能削弱本应找出其中错误的人类记忆。研究人员让 360 名美国成年人阅读摘要；这些摘要有的保留了视频中的交通标志细节，有的则改变了这一细节。在警察局，只要原始证据仍然可见，每一句具有重大影响的陈述都可以对照与时间点关联的执法记录仪画面进行核查。
被要求核查 AI 撰写报告的人，本应在机器的错误进入警方案件、招聘决定或临床护理之前将其找出。但核查者可能会先通过报告所呈现的版本来理解事件。一份流畅的摘要可能会用从未出现过的细节，替代这个人实际看到的细节。人仍然处于流程之中，但这个流程不再从对证据的独立记忆开始。
为什么记忆是核查的一部分
人类记忆不是可以原样回放的视频文件。记忆会在事后重构，而人在事件发生后接触到的信息，可能改变其对事件的回忆。
当生成式 AI 把视频、录音或文件变成一段简短叙述时，这一点就很重要。摘要比原始材料更容易阅读，因此可能成为核查者继续带在脑中的事件记录。然而，视频转文本系统必须识别物体、动作、时间和因果关系。遗漏某些内容可能改变意义，即使每句话听起来都清晰而自信。
只有当核查者能够把每一项主张与证据进行比较时，核查才会奏效。如果核查者依赖的是已经被摘要塑造过的记忆，那么所谓的保障就不再是独立的错误检查。
摘要可能改写事件
研究人员首先分析了由 ChatGPT-5.5 和 Gemini 2.5 Flash-Lite 制作的 20 份摘要。这些系统总结了两段 25 秒的动画视频，视频展示了一起汽车与行人的碰撞。每份摘要都包含错误。摘要平均约 305 个词，包含 7 到 21 个错误。平均而言，它们遗漏了预先确定的 19 项核心细节中的 51.6%。其中 95% 遗漏了碰撞本身；研究人员将碰撞定义为最核心的细节。65% 至少对一项核心细节作出了不准确的描述。
随后，研究人员测试了这对人们之后的记忆会造成什么影响。他们招募了 360 名美国成年人；其中 328 人完成了两部分测试，并被纳入分析。参与者观看了一段视频，视频中出现的是停车标志或让行标志。24 到 48 小时后，他们阅读一份由 21 句话组成的摘要。摘要要么写出了正确的标志，要么用另一个标志替代了它。
这些摘要由 ChatGPT 生成，研究人员做了少量修改。研究人员告诉参与者，摘要来源要么是 AI，要么是专业人工转录员。阅读内容一致的摘要后，83.6% 的人正确回忆起了标志。阅读具有误导性的摘要后，正确率只有 44.8%。人们认为摘要来自 AI 还是人，并没有显著改变他们受到误导的倾向。在这项实验中，参与者自报的 AI 信任程度和使用聊天机器人的频率，也都不能显著预测这种倾向。
这种影响并非全面发生。参与者平均正确回答了其他 11 个记忆问题中的 91.4%，并且有 96.6% 的人正确记得事故发生在白天。但摘要改变的那个核心细节，恰恰可能是核查者需要验证的那类细节。
更安全的工作流程会是什么样
在警察局，核查执法记录仪画面的警员可以在草拟报告旁边看到与特定时间点关联的视频片段。在一句具有重大影响的陈述进入案件档案之前，警员必须将其与录像进行核对。这样可以让原始证据继续发挥主导作用，而不是让草稿变成警员对事件的回忆。
要实现这一点，核查界面需要保留来源材料，并让没有证据支持的主张清晰可见。仅靠警告标签或 AI 素养培训，可能不够，因为问题不只是摘要可能包含错误。接触到这个错误，可能会削弱人们找出它所需的一部分独立记忆。
这项结果仍有局限。实验使用了简单的动画视频、一种错误信息、单一提示词，以及数量有限的模型输出样本。这些选择限制了我们将这一发现推广到现实世界应用时的确定程度。但如果这一结果在更真实的环境中仍然成立，创建事后摘要的系统就需要保留对原始视频、音频和文件的访问，同时将事实核查与单纯阅读草稿分开。