員工回饋摘要讓重複出現看起來像共識

AI 生成的員工回饋摘要可能把重複出現當成重要性，而不是平等保留每一項疑慮，從而製造共識。研究人員將 2,586 份職場回覆，與語言模型摘要保留下來的內容進行比較，發現只被提過一次的主題，只有 14% 的機率會留存。如果雇主要求保留少數聲音，管理者在專案會議中就能同時看到最普遍的抱怨，以及一項孤立的警告。

一名管理者詢問員工哪些事情進展順利、哪些地方應該改善後，打開一份 AI 摘要。摘要列出三個項目。其中一名員工提出的疑慮不見了，而管理者無法判斷它是被忽略、被誤解，還是根本沒能進入頁面。許多人反覆提出的抱怨，看起來就像整個團隊的看法。

摘要留下了什麼

語言模型不可能把每則評論都放進一份簡短簡報裡。它必須做出選擇。這就是抽象式摘要的基本取捨：它把大量文字壓縮成較短的敘述，而不是單純複製句子。

在職場中，這項選擇比在一般新聞摘要中更加重要。員工提出問題時，可能本來就擔心後果，尤其當問題是針對位階比自己高的人。這意味著，一份摘要整體上可能相當準確，卻仍會把一小群人的疑慮從能夠採取行動者的視野中移除。

一般的檢查不容易發現這種情況。一份摘要可能聽起來很平衡，也不會過度負面。但這兩項測試都沒有詢問哪些主題消失了。

重複出現變成排名規則

這項稽核把這種消失視為可以量化的事情。研究人員將一家大型全球專業服務公司的 2,586 份自由文字調查回覆，與這些回覆摘要中保留下來的主題進行比較。這些資料來自 260 個團隊，內容同時包括稱讚與批評。

他們為 15 個團隊製作了 45 份摘要。在最短的版本中，模型只能使用三個項目。它保留了來源主題的 61%。但保留率高度取決於重複次數。一個主題若出現在三則或更多評論中，74% 的情況下會被保留；只被提過一次的主題，只有 14% 的情況下會被保留。

長度也很重要。只出現在短評論中的主題，保留率為 27%；至少有一則較長評論表達這些主題時，保留率則為 65%。只有德文的主題保留率為 20%，整體則為 61%；不過作者稱這項結果只具有方向性，因為它建立在僅五個案例之上。

這並不代表模型只是刪除了批評。在研究人員將主題出現的頻率納入考量後，批評性並不會單獨影響主題是否留存。模型偏好的是普遍出現的內容。重複開始取代重要性，讓摘要變成一種人氣篩選器。圖 3 描述了這種模式：少數人持有的疑慮會消失，其中包括一項孤立的福祉疑慮，或一則單獨的德文評論。

明確列出某些受保護主題的提示，確實有助於這些被列出的主題留存。但它並沒有保護所有批評性疑慮，包括意外出現、只被提過一次或出現在短評論中的問題。使用 GPT-4o 重新執行後，也發現相同的模式：單次出現主題的保留率為 14%，常見主題則為 57%。

一份展現自身盲點的摘要

如果這項發現能在不同公司、模型、語言和實際決策中成立，每週的專案會議可能會有所不同。除了最普遍的工作量抱怨外，簡報也可能指出，一名員工提出了其他人沒有附和的另一項疑慮，並提供原始措辭供人檢視。管理者看到的不只是表面上的共識，也能看到共識的邊界。

在德國辦公室裡，用德文寫成的簡短警告，在製作英文領導階層摘要時也能繼續保持可見。儀表板可以顯示，來自該語言群體的評論是否和其他評論一樣頻繁地進入簡報。

這樣的未來需要的不只是更好的提示。雇主必須安全地保留原始評論、保護員工免受報復，並在採購和管理這些系統時，把少數聲音的保留列為要求。這項稽核的證據來自一家公司的自選自由文字資料，而它衡量的是某個主題是否出現，不是留下來的批評是否保留了原本的強度。下一步是在不同公司、模型、語言和實際工作流程中進行驗證。

來源

arXiv，《Whose Voice Survives the Summary? A Voice-Retention Audit of LLM Employee Listening》