arXiv
ベイズ推論がAI安全のダブルスタンダードを明らかにする
AIシステムに必要なのは、正確さのスコアだけでなく一貫性のチェックである。安全性の訓練によって、AIが自分でも使っている推論を非難することがあるからだ。ハーバード大学の心理学者らはGPT-4oとClaude 3.7 Sonnetを5,000回を超える試行でテストし、どちらも性別に結びついたベースレートを使って確率を更新した後、人間が同等の推論をすると不公平だと判断することを見いだした。給付金窓口では、導入者があらかじめルールを設定しておけば、監査証跡によってAIがどの証拠を使ったのか、申請者の身元が変わった後にも同じルールを適用するのかを示せる可能性がある。
求職者の選考や医療に関する助言、支援を受ける人の決定に使われるチャットボットは、ある会話では統計的に妥当な答えを出し、次の会話では同じ論理を退けることがある。整った返答を見ただけでは、その矛盾を見つけるのは容易ではない。最終的な答えが正しいかどうかだけを調べるテストで高いスコアを取っていても同じだ。
確率と公平性が出会うとき
ベイズ推論は、推測を更新する方法である。まず、ある集団で何かがどれほど一般的かといった事前確率から始める。次に新しい証拠を加え、推定を調整する。例えば医師は、一般的な発生率と患者の症状の両方を使うことがある。
それは統計的には適切でも、現実の意思決定では不適切な場合がある。雇用主、貸し手、学校、保険会社、病院、公共給付の機関は、そうした平均値が結果の予測に役立つ場合でも、保護される属性に結びついた集団平均を使うことを制限される可能性がある。
これは、言語モデルが扱わなければならない対立を生む。こうしたシステムは、文脈に応じて受け入れられそうな答えを作るよう訓練されている。人間からのフィードバックや文章化された原則は、公平性や平等についての言葉を使う方向へモデルを導く。しかしモデルは、プロンプトが変わっても明確で検証可能な一組の信念を保つとは限らない。表現、以前のメッセージ、指示、サンプリング設定、安全ルールによって返答は変わりうる。
テストに現れた矛盾
ハーバード大学の心理学者らは、5つの実験でGPT-4oとClaude 3.7 Sonnetをテストし、試行数は5,000回を超えた。課題は実在の人々についての意思決定ではなく、定型化された物語だった。医師と看護師、パイロットと客室乗務員が登場した。
その物語の中で、モデルは概して、ベイズの法則が求める方向に確率の推定を動かした。計算の一部として、性別に結びついた情報を使ったのだ。ある課題では、モデルは看護師が手術を行う確率を0%と答えることが多かった。そのため、2つの可能な説明の比較は数学的に極端なものになった。
その後に重要な転換が起きた。ベイズ的な判断をした後、それぞれのモデルは、性別について構造的に対応する統計的判断をした仮想の人物を評価するよう求められた。モデルはその人物を、不公平で、不公正で、不正確で、知性が低いと評価した。著者らによると、モデルの不賛成は人間の比較対象グループよりも強かった。
Claudeは、模擬的な金銭配分の課題でさらに踏み込んだ。仮想の人物の選択がベイズ的な条件に従っていた場合にはその人物に何も与えず、平等主義的な条件では金銭を与えた。GPT-4oの選択の変化はわずかだった。モデル自身が直前に使ったのと同じ種類の推論が、他人の手に渡ると道徳的に受け入れられないものとして扱われた。
この結果は、モデルに意図や人間の偏見があることを示すものではない。研究者らが使ったのは、実際の雇用や健康に関する意思決定ではなく、繰り返し行ったAPI呼び出しと統制されたプロンプトである。また研究者らは、質問の順番や、男性と女性の対象が登場する順番によって、モデルの答えが人間の比較データには見られない形で変化したことも報告している。したがってこの発見は、こうした条件下での行動上の失敗であり、すべてのAIシステムについての主張ではない。
一貫性が変えるもの
教訓は、確率が常に公平性のルールに勝つべきだということではない。給付金窓口では、ケースワーカーが監査証跡付きのAIの推奨を確認できる。その証跡には、システムが使うことを許された証拠、除外しなければならない集団レベルの情報、申請者の身元を逆にした場合にも同じルールを適用するかどうかを記録できる。
そうすれば、一貫性は期待ではなく要件になる。監査担当者は、モデルの推論を、別の人物に帰属させた同じ推論に対するモデルの判断と比較できる。組織は通常の正確さのテストに加えて、表現や同等の事例への感度をテストできる。自動化された推奨の影響を受ける人々は、どの証拠がその推奨を形作ったのかを知ることができる。
その未来を実現するには、導入者はチャットボットに道徳的に聞こえる答えで対立を解決させるのではなく、あらかじめ意思決定の方針を設定しなければならない。また、モデル、対象、プロンプト、現実の意思決定をまたいで結果をテストする必要もある。統計的な能力だけでは、重大な結果をもたらす判断には不十分である。システムは、同等の推論を同等に扱わなければならない。