arXiv
貝葉斯推理揭露 AI 安全的雙重標準
AI 系統需要一致性檢查，而不只是準確率分數，因為安全訓練可能讓它們譴責自己也會使用的推理方式。哈佛大學心理學家在超過 5,000 次試驗中測試 GPT-4o 和 Claude 3.7 Sonnet，發現兩者都會根據與性別相關的基準率更新機率，接著卻認定某個人做出的等價推理不公平。在福利辦公室，如果部署者事先設定好規則，稽核軌跡就能顯示 AI 使用了哪些證據，以及申請人的身分改變後，AI 是否仍會採用同一項規則。
一個用來篩選求職者、提供醫療建議，或決定誰能獲得援助的聊天機器人，可能在一次對話中給出統計上合理的答案，下一次卻拒絕同樣的邏輯。精緻的回覆並不會讓這種矛盾變得容易察覺。只檢查最終答案是否正確的測試，就算得分很高，也同樣無法做到這一點。
當機率遇上公平
貝葉斯推理是一種更新猜測的方法。先從先驗機率開始，例如某件事在一個人口中的普遍程度。接著加入新的證據，調整估計值。舉例來說，醫生可能會同時使用一般發生率和病人的症狀。
這在統計上可能是合適的，但在實際決策中仍可能不恰當。雇主、貸款機構、學校、保險公司、醫院和公共福利機構，可能受到限制，不得使用與受保護特徵相關的群體平均值，即使這些平均值有助於預測結果。
這就造成了語言模型必須處理的衝突。這些系統接受訓練，會產生在特定情境下聽起來合宜的答案。人類回饋和書面原則會將它們推向談論公平與平等的語言。但模型不一定會在不同提示之間，始終維持一套清晰且可檢視的信念。措辭、先前的訊息、指令、取樣設定和安全規則，都可能改變它的回應。
測試中的矛盾
哈佛大學心理學家在五項實驗中測試 GPT-4o 和 Claude 3.7 Sonnet，使用了超過 5,000 次試驗。這些任務是經過設計的故事，而不是關於真實人物的決策。其中包括醫生和護士，以及飛行員和空服員。
在這些故事中，模型通常會朝貝葉斯法則要求的方向調整機率估計。它們會把與性別相關的資訊納入計算。在其中一項任務中，模型常常給出護士會進行手術的機率為 0%。這使兩種可能解釋之間的比較在數學上變得極端。
接著出現了關鍵的轉折。在做出貝葉斯判斷後，每個模型都被要求評價一個假想人物：這個人針對性別做出了結構上相符的統計判斷。模型稱這個人不公平、不公正、不準確，而且不聰明。作者報告說，它們的反對程度比人類比較組更強烈。
Claude 在一項模擬金錢分配的任務中更進一步。當假想人物的選擇符合貝葉斯條件時，它一分錢也不給對方；但在平等主義條件下，它會給錢。GPT-4o 的選擇只出現輕微變化。模型剛剛自己使用過的同類推理，在交由另一個人使用時，卻被視為道德上不可接受。
這項結果並不表示模型具有意圖或人類式的偏見。研究人員使用的是反覆 API 呼叫和受控提示，而不是真實的就業或醫療決策。他們也報告說，問題的提問順序，以及男性和女性目標出現的順序，都會以人類比較資料中未見的方式改變模型的答案。因此，這項發現是在這些條件下出現的行為失誤，而不是對所有 AI 系統的主張。
一致性會帶來什麼改變
這項研究的啟示並不是機率應該永遠凌駕於公平規則之上。在福利辦公室，個案工作者可以看到一項附有稽核軌跡的 AI 建議：系統被允許使用哪些證據、必須排除哪些群體層級資訊，以及如果申請人的身分對調，同一項規則是否仍會適用。
這會讓一致性成為一項要求，而不只是希望。稽核人員可以將模型的推理，與它對歸於另一個人的同一推理所做的判斷進行比較。組織可以測試模型對措辭和等價案例的敏感度，並將這些測試與一般的準確率測試放在一起。受到自動化建議影響的人，也可以知道哪些證據塑造了這項建議。
要讓這個未來成真，部署者必須事先設定決策政策，而不是要求聊天機器人用聽來像道德判斷的答案來解決衝突。他們也需要在不同模型、受試者、提示和真實決策之間測試結果。僅有統計能力不足以應付高風險判斷；系統還必須對等價的推理給予等價的處理。