公平性監査ではチャットボットが捨てた証拠を見逃す

公平性監査では、チャットボットが人の証拠に低い点数をつけるのではなく、捨ててしまうことで生じる差別を見逃すことがある。英語で行われた6,600回のセッションでは、OpenAIのある設定が、黒人と記述された報告者の報告を46%の割合で却下したのに対し、白人と記述された報告者では9%だった。病院の受付窓口では、AIアシスタントが自信度と、その後に確認された結果の両方を記録すれば、この隠れた判断を見えるようにできる可能性がある。

求職者の選考や報告の振り分け、医療のトリアージを支援するチャットボットは、中立に見えながら、ある人の証言をひそかに使えないものと判断することがある。保護対象の集団に属すると記述された人に、システムが低い点数をつけるとは限らない。証拠をまったく使わないだけかもしれない。

通常の公平性監査では、これを見逃すことがある。監査担当者は、システムが判断を下した後につける点数を比較することが多い。システムが一部の判断を拒否すると、そのケースは比較から外される可能性がある。すると、最終的な数字は均衡しているように見えても、一部の人の証拠は計算に入っていないことになる。

消える証拠

これは、却下と自信の低さが同じではないから重要である。二つの壺のどちらに赤い玉が多く入っているかについて、システムが報告を聞いたとする。慎重なシステムなら、その報告はおそらく役に立つが、あまり信頼できないと言うかもしれない。却下は別のことを意味する。報告に重みをまったく与えないということだ。

研究者はこれを「却下」と呼んでいる。実験では、モデルが報告者の信頼性をちょうど0.5としたとき、その報告者を却下した。モデルは二つの壺を使った確率ゲームを行い、変えられたのはシミュレーション上の報告者の記述だけだった。証拠そのものは同じだった。

この種の実験は、二つの問いを切り分けることを目的としている。第一に、モデルは報告を使うのか。第二に、使う場合、その報告をどの程度信頼するのか。二つ目の問いだけを尋ねる公平性チェックでは、一つ目を見落とす可能性がある。

安全ルールが報告を消すとき

この論文では、OpenAIとAnthropicの10の設定を英語で行われた6,600回のセッションで、さらにOpenAIの4つの設定をスペイン語で行われた2,760回のセッションで検証した。推論能力の高いOpenAIのある設定では、黒人と記述された報告者が46%の割合で却下された。白人と記述された報告者では9%だった。

モデルが実際に評価した報告者だけを見ると、その傾向ははるかに問題が小さく見えた。黒人と記述された報告者の平均信頼性は0.85で、白人と記述された報告者は0.81だった。完了した判断だけを数える監査なら、モデルは黒人と記述された報告をむしろ少し強く信頼していると示す可能性さえある。

より大きな違いは、報告が評価されるまで残るかどうかだった。記述のない報告者の情報は13%のセッションで捨てられた。黒人の小学生の男児と記述された報告者では77%に上がり、白人と記述された報告者では17%だった。

著者らによると、この行動を引き起こしたように見えたのは、一貫した社会的カテゴリーではなく言葉だった。英語では、モデルは説明の中で「Black」という語を使ったが、スペイン語の「negro」は使わず、「afrodescendiente」は使った。あるモデルに、アイデンティティーの記述を無関係なものとして扱うよう指示しても、問題は解決しなかった。そのモデルは、アイデンティティーの記述がない報告者も含め、集団ごとに63%から93%の報告者を却下した。

この結果は、一つの回答だけでは不十分かもしれない理由も示している。報告が不正確かもしれないという警告によって、ある設定では黒人と記述された報告者の却下率が34%から72%に、白人と記述された報告者では13%から37%に上がった。小型のOpenAIモデルでは、推論にかける労力を増やすと、黒人という記述による却下効果の推定値が21ポイントから39ポイントに増えた。

システムに間違いから学習させる方法はあるかもしれない。12ラウンド版のゲームでは、モデルは各ラウンドの後に点数を受け取り、真実を示された。論文によると、最後のラウンドまでに、黒人と白人と記述された報告者の信頼度の差は、検証した5つの設定のうち4つで0.02未満になった。この改善に必要だったのは、最終的な点数だけを調べることではなく、既知の結果と結びついたフィードバックだった。

正直な監査が見るもの

この結果が実際の意思決定システムでも成り立つなら、監査では誰の点数が低かったかだけでなく、誰の証拠が無視されたかも記録する必要がある。例えば病院の受付窓口では、AIアシスタントが患者の症状の報告を記録したこと、その報告をどの程度強く信頼したか、確認された経過観察の結果を受けてその自信度がどう変化したかを、看護師に示せるだろう。人口統計上の記述がメモに現れたからといって、システムが報告をひそかに消すことはなくなる。

この未来は、信頼できるフィードバックにかかっている。過去のラベルや検証の手順は、不完全だったり偏っていたりする可能性がある。システムの点数づけに使う結果が信頼できなければ、システムは記録にすでに存在する不公平をそのまま学習するだけかもしれない。著者らは、掲載時にコードとデータを公開すると述べている。

出典

arXiv, “Invisibilization as a Source of Probability Bias in Language Models”