arXiv

コンテンツモデレーションの平均スコアは、最も厳しい言語の問題を隠す

2026年10月27日 16:30

平均的なモデレーションスコアでは、一部の言語コミュニティを沈黙させながら、その人々に向けられた嫌がらせを見逃すシステムが見えなくなることがある。この論文は11言語を対象に5つのオープンシステムを評価し、55のシステムと言語の組み合わせのうち51件が、母語話者の性能に届かなかったことを明らかにした。各言語をコミュニティが作成した例でテストすれば、デリーの家族チャットで、ラテン文字で書かれたヒンディー語を、日常的なつづりを安全性の欠如と見なすことなく保護できる可能性がある。

現在のプラットフォームでは、普通の方言や、コミュニティが取り戻した言葉、嫌がらせに反論する返信が有害に見えるという理由で削除されることがある。同時に、その話者に向けられた嫌がらせは、ソフトウェアがほとんど理解できない言語や文字体系を使っていれば通り抜けてしまう可能性がある。それでもプラットフォームは、全員をまとめた安心できそうな1つのスコアを示せる。その平均によって、言語ごとの表の最下位にいる人々は見えにくくなる。

モデレーションが測っているもの

自動モデレーションの多くは、単純な仕事から始まる。膨大な投稿の流れを分類し、人間のレビュアーがその一部に集中できるようにすることだ。キーワードフィルターは、危害に結びついた言葉を探す。機械学習分類器は、有害なテキストによく現れるパターンを学習する。どちらも大規模には役立つが、無害な発言をブロックするか、有害な発言を残すかという2種類の誤りのどちらかを選ばなければならない。

難しいのは、明らかな差別語を含むメッセージではない。同じ言葉を異なる目的で使うメッセージだ。コミュニティ内では、取り戻された言葉が親しみを込めたものになることがある。憎悪に満ちた言葉を拒絶するために、あえて繰り返す文章もある。脅迫が丁寧な言葉を使うこともある。こうしたケースを判断するには、システムはメッセージに何が含まれているかだけでなく、メッセージが何をしているのかを理解する必要がある。

この問題は、全体の正解率スコアによって隠されることがある。あるシステムが、広く使われている言語ではうまく機能し、別の言語ではうまく機能していなくても、合算した結果は高く見える可能性がある。方言や、複数の書き方が混ざった文体でも同じことが起きる。

格差を明らかにするテスト

この論文は、11言語の公開HateCheckテストで5つのオープンシステムを評価した。テストには2種類の例が含まれていた。暗黙的なヘイトに似ているが無害なメッセージと、よく知られたキーワードを使っているとは限らない暗黙的なヘイトである。研究者たちは、テストの作成時に同じケースにラベルを付けた母語話者のアノテーターの作業と、システムを比較した。

この論文では、誤警告と危害の見逃しを、1つの失敗の両側面として扱っている。似ているものをすべて有害と判定するシステムは慎重に見えるかもしれないが、意味を区別できていない。誤警告を避けるために不慣れな言語を無視するシステムは、人々を保護できない可能性がある。提案されている答えは、言語ごとに両方のエラー率を報告し、1つの平均の中に隠すのではなく、最もよく扱われる言語と最もよく扱われない言語の差を示すことだ。

結果にはばらつきがあった。55のシステムと言語の組み合わせのうち51件は、母語話者の基準を確実に下回った。著者らによると、ガードモデルを大きくすると、9言語では区別する能力が向上したが、ラテン文字で書かれたアラビア語とヒンディー語は、依然として偶然とほぼ変わらない水準だった。ある例では、より大きなQwen3Guardモデルが、ローマ字表記のヒンディー語における暗黙的なヘイトの77.1%を見逃した。一方、PolyGuardは、無害なアラビア語の対照例の69.0%を有害と判定した。つまり、ある言語では静かすぎ、別の言語ではうるさすぎるシステムがあり得る。

これが、見出しになる平均値が誤解を招く理由だ。平均値はシステムが中央付近でどう振る舞うかを表すが、沈黙させられたり無視されたりする可能性が最も高い人々は、端にいる。

Refer to caption — Figure 2. Each point is one language: the share of harmless contrast cases flagged (horizontal) against the share of implicit hate missed (vertical), with Wilson 95% intervals, for (a) a keyword lexicon, (b) a multilingual toxicity classifier at threshold 0.5, (c, d) Qwen3Guard-Gen at 0.6B and 8B parameters, counting *Unsafe* as flagged, and (e) PolyGuard at a probability of 0.5. In no panel is any language below 20% in both directions. ρ\\rho is the Spearman correlation across languages. Hindi (red) is written in Latin script in the test suite; Arabic is in orange.Results. No system serves any language well in both directions, and only four of the 55 combinations of system and language avoid falling short of the discrimination test (Tables 4 and 5, Figure 2). The lexicon’s balanced accuracy is 0.43–0.53 and the classifier’s AUC 0.52–0.64, where 0.5 is chance. The three guard models do better and differ more: the small Qwen3Guard reaches 0.54–0.73, the 8B model 0.54–0.84 and PolyGuard 0.54–0.87. Individual native-speaker annotators, labelling the same cases when the suites were built, reach a balanced accuracy of 0.70–0.99. Of the 55 combinations, 51 fall reliably short of that standard, by 6 to 55 points (template-level bootstrap, 2,000 resamples). The result does not rest on English, whose suite kept only cases on which most annotators agreed with the gold label and so sets the highest bar: without English, 46 of the 50 remaining combinations fall short. Three of the four exceptions are French, where all three guard models match or exceed the annotators; there, annotators themselves labelled 55% of the harmless contrast cases hateful, so the French bar is low because the French cases are contested, not because the systems read function. The fourth is PolyGuard in Dutch (0.85 against 0.90 for annotators, an interval for the difference that just reaches zero). Even the best English result, PolyGuard’s 0.87, falls 12 points short of English annotators (0.99). By H1’s standard, all five systems still decide largely on form. The harmless contrast cases are look-alikes of implicit hate (counter-speech, negation, reclaimed terms and the like), not matched minimal pairs of it, so this is a test of function against form across two sets of cases rather than pair by pair. They differ in how far they fall short, and in how the resulting errors are distributed across languages. 出典: Harm Is Behavioural, Moderation Is Lexical: How Language and Culture Decide Whom Automated Safety Systems Protect and Whom They Silence（arXiv）

文脈を理解するモデレーションが変えるもの

このアプローチが機能すれば、モデレーションは、よりよく扱われている言語の安全性に関する例を主に翻訳するのではなく、その言語を使うコミュニティがテストできるようになる。デリーの家族向けメッセージアプリで、ラテン文字を使ってヒンディー語を書く10代の若者が、つづりそのものを、その言語が対象になっている証拠の欠如と誤認されることなく、強制的なやりとりを報告できるようになる。クィアのグループチャットでは、親しみを込めて使われた、コミュニティが取り戻した言葉はそのままにしながら、丁寧な言葉で特定の相手に向けられた脅迫には注意を向けられる。

その未来には、現地語のデータ、母語話者が作成した、または母語話者が検証したテストケース、そしてコミュニティを理解するレビュアーが必要になる。またコストもある。会話レベルのシステムには、1つの投稿より多くの文脈が必要になるため、より多くの私的な発言を分析することになる。システムがグルーミングや強制、詐欺などの有害な行動を認識すべきだという、この論文のより広い考えは、適切な多言語の対照データセットが存在しないため、まだテストされていない。

実際の変化は小さいが重要だ。購入者や規制当局は、「平均スコアはいくつか」だけでなく、「最もよく扱われていない言語はどれか、そしてシステムは2種類の誤りをどちらも犯すのか」と尋ねられるようになる。そうなればプラットフォームは、ソフトウェアが行動を理解しているのか、それともよく知られた言葉を認識しているだけなのかを示さなければならない。この論文はTuteliqの製品を評価していない。ただし、著者2人は、オンライン上の会話で有害な行動を検出するシステムを開発する同社の創業者または幹部である。

出典

arXiv「危害は行動であり、モデレーションは語彙的である：言語と文化はいかにして、自動安全システムが誰を守り、誰を沈黙させるかを決めるのか」