员工反馈摘要让重复出现的意见看起来像共识

AI 员工反馈摘要可能把重复出现当成重要性，而不是平等保留每一项意见，从而制造共识。研究人员将 2,586 条职场反馈与语言模型摘要保留下来的内容进行了比较，发现只被提到一次的主题仅有 14% 的时间得以保留。如果雇主把保留少数声音列为要求，那么在项目会议上，管理者就能同时看到占主导地位的抱怨和一条孤立的警告。

一名管理者在询问员工哪些方面进展顺利、哪些方面需要改进后，打开了一份 AI 摘要。摘要列出了三条要点。一名员工提出的担忧不见了，管理者无法判断它是被忽略了、被误解了，还是根本没有出现在页面上。许多人反复提到的抱怨，看起来就像整个团队的看法。

摘要留下了什么

语言模型不可能把每条评论都放进一份简短的简报。它必须作出选择。这正是抽象式摘要的基本取舍：它把许多段文字压缩成更短的概述，而不是简单地复制句子。

与普通新闻摘要相比，这种选择在职场中的影响更大。员工提出问题时，可能本来就担心后果，尤其是当问题针对级别高于自己的人时。因此，一份摘要总体上可能是准确的，却仍然会把一个小群体的担忧从能够采取行动的人的视野中移除。

通常的检查很难发现这一点。一份摘要可能听起来很平衡，也没有过度负面。但这两项测试都不会询问哪些主题消失了。

重复出现变成了排序规则

这项审计把这种消失视为可以衡量的现象。研究人员将一家大型全球专业服务公司的 2,586 条自由文本调查回答，与这些回答的摘要中保留下来的主题进行了比较。这些材料来自 260 个团队，既包括表扬，也包括批评。

他们为 15 个团队生成了 45 份摘要。在最短的版本中，模型最多只能输出三条要点。它保留了源文本主题的 61%。但保留情况高度取决于重复次数。一个主题如果出现在三条或更多评论中，有 74% 的概率得以保留；如果只被提到一次，保留概率只有 14%。

长度也很重要。只出现在短评论中的主题，保留率为 27%；当至少有一条较长的评论表达了这些主题时，保留率为 65%。仅在德语评论中出现的主题，保留率为 20%，而总体保留率为 61%；不过，作者称这一结果只能说明方向，因为它只建立在五个案例之上。

这并不意味着模型只是删除了批评。在研究人员将一个主题出现的频率纳入考量后，批评性并不会单独影响该主题能否保留。模型偏向于保留常见的内容。重复出现开始代替重要性，摘要也因此变成了一个受欢迎程度筛选器。图 3 描述了这一模式：少数人持有的担忧会消失，其中包括一条关于福祉的孤立担忧，或一条单独的德语评论。

明确点名某些受保护主题的提示词，确实能帮助这些被点名的主题保留下来。但它无法保护所有批评性担忧，包括那些只被提出一次、或出现在短评论中的意外问题。使用 GPT-4o 重新运行后，也发现了同样的模式：单独出现的主题保留率为 14%，常见主题则为 57%。

一份能显示自身盲点的摘要

如果这一发现能够在不同公司、模型、语言和真实决策环境中成立，那么每周的项目会议可能会呈现出不同的样子。简报除了列出占主导地位的工作量抱怨，还可能说明有一名员工提出了一个没有得到其他人呼应的单独担忧，并提供原话供查看。管理者看到的不只是表面上的共识，也能看到共识的边界。

在德国办公室里，用德语写下的一条简短警告可以在生成英文领导层摘要时继续保留。一份仪表板可以显示，来自这一语言群体的评论是否和其他评论一样经常进入简报。

实现这样的未来，需要的不只是更好的提示词。雇主需要安全地保留源评论，保护员工免遭报复，并在采购和管理这些系统时，把保留少数声音列为要求。这项审计的证据来自一家公司的自选自由文本数据，它衡量的是某个主题是否出现，而不是保留下来的批评是否保持了原本的强度。下一步是在不同公司、模型、语言和实际工作流程中进行验证。

来源

arXiv，《Whose Voice Survives the Summary? A Voice-Retention Audit of LLM Employee Listening》