AI 摘要會改變核查它所需的記憶

AI 摘要可能削弱原本應該用來抓出錯誤的人類記憶。研究人員讓 360 名居住在美國的成年人閱讀摘要；摘要中的交通標誌細節，有些保留了影片原本的內容，有些則改變了內容。在警察局裡，如果原始證據仍然可見，每個攸關後果的句子都可以拿來和按時間連結的隨身攝影機影像核對。

被要求核查 AI 撰寫報告的人，本來應該在機器的錯誤進入警方案件、招聘決策或臨床照護之前把它們抓出來。但核查者可能先透過報告呈現的版本來理解事件。一份流暢的摘要，可能用實際看到過的細節，替換成從未出現過的細節。人類仍然在迴路中，但這個迴路已不再從對證據的獨立記憶開始。

為什麼記憶是核查的一部分

人類記憶不是可以原樣播放的影片檔案。記憶會在事後重建，而人在事件發生後接觸到的資訊，可能改變他對事件的回憶。

當生成式 AI 把影片、錄音或文件轉成簡短敘事時，這一點就很重要。摘要比原始材料更容易閱讀，因此可能成為核查者之後一直依循的說法。然而，影片轉文字系統必須辨認物件、行動、時間和因果關係。即使每個句子聽起來清楚而且自信，遺漏某些內容仍可能改變意義。

只有在核查者能把每個主張和證據相比對時，核查才有效。如果核查者依賴的是已經受到摘要影響的記憶，那麼原本應該獨立進行的錯誤檢查就不再獨立。

摘要可能改寫事件

研究人員首先分析了 ChatGPT-5.5 和 Gemini 2.5 Flash-Lite 製作的 20 份摘要。這些系統摘要了兩段 25 秒、呈現汽車與行人相撞的動畫影片。每份摘要都包含錯誤。摘要平均約有 305 個字，包含 7 到 21 個錯誤。平均而言，它們遺漏了 19 個預先定義的核心細節中的 51.6%。其中 95% 遺漏了碰撞本身；研究人員將碰撞定義為最核心的細節。65% 至少包含一項對核心細節的不準確描述。

接著，研究人員測試這些摘要如何影響人們之後的記憶。他們招募了 360 名美國成年人；其中 328 人完成了兩個部分，並被納入分析。參與者觀看一段影片，影片中出現的是停車標誌或讓路標誌。24 到 48 小時後，他們閱讀一份由 21 個句子組成的摘要。摘要有時正確寫出標誌，有時則換成另一種標誌。

摘要由 ChatGPT 製作，研究人員只做了少量修改。研究人員告訴參與者，摘要來源可能是 AI，也可能是專業的人類轉錄員。閱讀內容一致的摘要後，83.6% 的人正確回憶起標誌。閱讀誤導性摘要後，正確率只有 44.8%。人們以為摘要來自 AI 還是人類，並沒有顯著改變他們受到誤導的程度。在這項實驗中，參與者自陳對 AI 的信任程度，以及使用聊天機器人的頻率，也都無法顯著預測這種易受影響的程度。

這種影響並不是全面性的。參與者平均正確回答了其餘 11 道記憶題中的 91.4%，而且有 96.6% 正確記得事故發生在白天。但摘要改變的那項核心細節，正是核查者可能需要確認的那種細節。

更安全的工作流程會是什麼樣子

在警察局裡，核查隨身攝影機影像的警員可以在草擬報告旁邊看到連結至特定時間點的片段。在一個攸關後果的句子進入案件檔案之前，警員必須把它和錄影核對。這樣可以讓原始證據繼續發揮主導作用，而不是讓草稿變成警員對事件的記憶。

要做到這一點，核查畫面必須保留來源，並讓沒有證據支持的主張清楚可見。單靠警告標籤或 AI 素養訓練，可能不夠，因為問題不只是摘要可能包含錯誤。接觸到這個錯誤，可能會削弱人們找出錯誤所需的一部分獨立記憶。

這項結果仍有局限。實驗使用了簡單的動畫影片、一種錯誤資訊、單一提示，以及數量有限的模型輸出。這些選擇限制了我們將研究結果延伸到現實世界用途時的信心。但如果這項結果在更貼近現實的情境中仍然成立，製作事件後摘要的系統就需要保留人們存取原始影片、音訊和文件的權限，同時把查核事實和單純閱讀草稿分開。

來源

arXiv，《AI-Enabled Human Memory Manipulation: Misleading AI-Generated Summaries Distort Human Memory》