arXiv
早期預警系統的公平性控制重新分配了諮詢錯誤
一所大專院校可以讓供應商 AI 的公平性儀表板看起來更好，卻沒有讓學生支援的分配變得更公平，因為下游控制主要是在重新分配錯誤。研究人員在不開啟或重新訓練模型的情況下，利用 168,550 筆安大略省大專院校紀錄測試了六種這類控制。如果這種模式在實際部署中也成立，諮詢辦公室就可能成為學生能夠質疑風險標記、諮詢人員也能看見其中取捨的地方，前提是合約揭露所需資訊，而且大專院校有能力作出回應。
大專院校已經使用早期預警系統，決定哪些學生能獲得稀缺的學業諮詢、課業輔導、助學金諮詢或其他支援。但作出這些決定的人，可能只能看到一個分數或標記。他們無法檢視訓練資料、模型設定，或模型作出排序的原因。
這帶來了一個接近日常生活的問題。需要幫助的學生可能被排除在名單之外。另一名學生可能因為與年齡、性別或居留身分相關的模式而被標記為「有風險」，並承受一個可能並不適用的警告所帶來的污名。大專院校有一個儀表板，卻未必能控制背後的機器。
模型購買後，公平性代表什麼
早期預警系統會估算學生是否能完成一個課程。接著，諮詢人員利用這項估算決定要聯絡哪些人。供應商可以提供輸出結果，同時讓模型本身維持封閉狀態。
大專院校仍然可以改變學生被標記的門檻。這稱為事後介入：在預測完成後作出的調整，不需要開啟或重新訓練模型。它不會讓預測更準確，而是改變哪些人會被放在行動線之上或之下。
這條線迫使人們在兩種錯誤之間作出選擇。可能受益於支援的學生會被漏掉。不需要支援的學生則可能收到不必要的標記，佔用有限諮詢服務的時間。當不同群體的完成率不同時，公平性指標也可能彼此衝突。讓一項指標看起來更好，可能會讓另一項變差。
儀表板可以改善，支援卻不會因此增加
研究人員在一個研究用複製模型上測試了六種事後方法。這個複製模型仿照一所安大略省大專院校的自動化機器學習系統所選用的樹狀模型。他們使用了 168,550 筆第一學期學生紀錄，涵蓋 2008 至 2023 年。在測試期間，這個複製模型被視為黑箱：這些方法都無法檢視、改動或重新訓練它。
結果不是一個通用的公平性修正方案。這些方法可以改變一些醒目的指標，但往往是透過在不同群體之間轉移錯誤來做到。舉例來說，校準縮小了一些差距，卻讓本地生與國際學生之間的誤報差異略微擴大。
其中一種方法讓各群體被標記的學生比例達到約 0.47–0.50。這在圖表上可能看起來很平衡。但這也代表約一半學生會被標記，而論文表示這超出了合理的諮詢能力。如果諮詢人員無法處理這份名單，看起來公平的分配就沒有太大幫助。
另一種方法幾乎讓真正有風險的男性與女性被辨識出的比例相等。但它也大幅增加了誤報：女性的比例從 0.561 上升至 0.837，男性的比例則從 0.406 上升至 0.734。錯誤並沒有消失，只是被重新安排了。
居留身分的結果也出現了相同問題。兩種方法把人數較少的國際學生群體標記為處於不利地位，儘管國際學生原本的正例率就高於本地生。其中一項調整改變了 706 個居留身分預測，而且全部都是國際學生的預測。他們的正例率從 0.916 上升至 0.956，而本地生的指標維持不變。
論文也提醒，「未知性別」類別混合了非二元性別身分、其他回答、未回報和缺失資料。這些方法分別評估年齡、性別和居留身分，沒有評估它們的交集。小型群體能提供的資訊很少，對於依賴群體層級資料的計算尤其如此。
更公平的系統需要什麼
在大專院校的諮詢辦公室裡，學生可以詢問自己為什麼被列入或排除在風險名單之外。諮詢人員可以看見產生這個標記的錯誤取捨，並對分類提出申訴，而不是把供應商的分數視為最終決定。這會讓諮詢名額成為一項人們可以質疑的決策，而不是看不見的門檻所造成的結果。
要讓這種情景成真，合約就必須提供有實質意義的稽核資訊，而機構也必須有足夠的諮詢能力來作出回應。大專院校也需要在如何取捨錯誤方面擁有發言權，而不只是從下游控制措施中選擇一項。
這項結果並不是對每一個早期預警系統的裁決。研究人員表示，他們的複製模型無法與供應商實際運作中的模型相互核驗，而且這項研究只使用了一所機構的資料。如果這種模式在實際部署中也成立，購買後改變輸出將不足以成為保障。模型的設計、其目標的意義，以及人們採取行動處理其標記的能力，都會同樣重要。