arXiv

従業員フィードバックの要約は繰り返しを合意に見せる

2026年10月2日 09:30

AIによる従業員フィードバックの要約は、あらゆる懸念を等しく残すのではなく、繰り返しを重要性として扱うことで、合意を捏造することがある。研究者らが、職場で寄せられた2,586件の回答と、言語モデルの要約に残った内容を比較したところ、1度しか言及されなかったテーマが残った割合はわずか14%だった。企業が少数派の声を残すことを要件にすれば、プロジェクト会議でマネジャーは、支配的な不満と、1人だけが発した警告の両方を確認できる。

従業員に、何がうまくいっていて何を改善すべきかを尋ねた後、マネジャーがAIのダイジェストを開く。ダイジェストには3つの箇条書きがある。1人が提起した懸念は抜け落ちており、マネジャーには、それが無視されたのか、誤解されたのか、それともページに届かなかったのか分からない。多くの人が繰り返した不満は、チーム全体の見解のように見える。

要約が残さないもの

言語モデルは、すべてのコメントを短い説明に入れることはできない。選ばなければならない。これは抽象型要約の基本的なトレードオフである。文章を単にコピーするのではなく、多くの文章をより小さな説明に圧縮する。

この選択は、通常のニュースダイジェストよりも職場で重要になる。従業員は問題を提起したとき、特に自分より上位の人物に向けた問題であれば、すでにその結果を心配している可能性がある。したがって要約は全体としてはおおむね正確でも、行動を起こせる立場の人の視界から、少人数の懸念を取り除いてしまうことがある。

通常のチェックでは、これを簡単には見つけられない。ダイジェストはバランスが取れているように聞こえ、過度に否定的でもないかもしれない。どちらのテストも、どのテーマが消えたかは問わない。

繰り返しが順位付けのルールになる

この監査では、その消失を測定可能なものとして扱った。研究者らは、大手グローバル・プロフェッショナルサービス企業から集めた自由記述式の調査回答2,586件と、それらの回答の要約に残ったテーマを比較した。データは260チームから集められ、称賛と批判の両方を含んでいた。

研究者らは15チームについて45件の要約を作成した。最も短いバージョンでは、モデルに許された箇条書きは3つだけだった。モデルは元のテーマの61%を残した。しかし、残るかどうかは繰り返しに大きく左右された。3件以上のコメントで言及されたテーマは74%の割合で残った。1度しか言及されなかったテーマが残った割合はわずか14%だった。

長さも影響した。短いコメントにしか見つからなかったテーマの残存率は27%だったのに対し、少なくとも1件の長いコメントで表現されたテーマでは65%だった。ドイツ語だけで示されたテーマの残存率は20%で、全体の61%を下回った。ただし著者らは、この結果は5件のケースに基づくため、方向性を示すものだとしている。

これは、モデルが単純に批判を削除したという意味ではない。研究者らがテーマの出現回数を考慮した後、批判的であること自体は、そのテーマが残るかどうかに独立した影響を及ぼさなかった。モデルは、共通しているものを優先していた。繰り返しが重要性の代わりになり始め、要約を人気度によるフィルターに変えていた。図3はこのパターンを、少数の人だけが抱える懸念が失われることとして説明している。その中には、1人だけが示したウェルビーイング上の懸念や、ドイツ語で書かれた単独のコメントが含まれる。

特定の保護対象テーマを明示したプロンプトによって、指定されたテーマは残りやすくなった。しかし、予想外の問題を1度だけ、または短いコメントで提起した場合を含め、すべての批判的な懸念が守られたわけではない。GPT-4oで再実行しても同じパターンが見つかった。単独のテーマの残存率は14%で、共通するテーマでは57%だった。

Refer to caption — Figure 3: The popularity filter. Panel A: retention by frequency, length, and language. Panel B: critical themes survive as often as positive ones (prevalence artifact; valence p = 0.55).The harm is a prevalence-driven bias against concerns held by few: a balanced-looking summary gives a leader no cue that a lone wellbeing flag or single German comment was ever there. 出典: Whose Voice Survives the Summary? A Voice-Retention Audit of LLM Employee Listening（arXiv）

盲点を示すダイジェスト

この発見が企業、モデル、言語、実際の意思決定にまたがって成り立つなら、毎週のプロジェクト会議は違ったものになりうる。支配的な業務量への不満に加えて、誰もほかに同じことを述べなかった別の懸念を、ある従業員が提起したとブリーフが示し、確認用に原文も利用できるかもしれない。マネジャーは、見かけ上の合意だけでなく、その合意の境界も確認できる。

ドイツのオフィスでは、英語による経営層向けの要約が作られる際にも、ドイツ語で書かれた短い警告が見える状態で残る可能性がある。ダッシュボードには、その言語グループのコメントがほかのコメントと同じ頻度でブリーフに届いたかどうかを示せる。

この未来に必要なのは、よりよいプロンプトだけではない。雇用主は元のコメントを安全に保持し、従業員を報復から守り、こうしたシステムを購入して管理する際に、少数派の声を残すことを要件にする必要がある。監査の証拠は、1社から得られた自己選択式の自由記述データに基づいており、測定しているのはテーマが現れるかどうかであって、残った批判が元の強度を保っていたかどうかではない。次の段階は、企業、モデル、言語、実際の業務フローをまたいだ検証である。

出典

arXiv「Whose Voice Survives the Summary? A Voice-Retention Audit of LLM Employee Listening」