arXiv
预警系统的公平控制只是重新分配了咨询错误
一所高校可以让供应商人工智能的公平性仪表板看起来更好，却不让学生获得帮助的分配变得更公平，因为下游控制主要是在重新分配错误。研究人员在不打开或重新训练模型的情况下，对安大略省高校的168,550条记录测试了六种这样的控制。如果这一模式在实际部署中成立，那么在合同披露必要信息且高校有能力作出回应的前提下，咨询办公室可以成为学生质疑风险标记、咨询人员了解其权衡的地方。
高校已经在使用预警系统，决定哪些学生能够获得稀缺的学业咨询、辅导、助学金咨询或其他帮助。但作出这些决定的人可能只能看到一个分数或标记。他们无法检查训练数据、模型设置，或模型进行排序的原因。
这会带来一个贴近日常生活的问题。需要帮助的学生可能会被漏列。另一个学生可能因为与年龄、性别或居住身份有关的模式而被标记为“有风险”，并承受一个可能并不适合自己的警告所带来的污名。高校拥有一个仪表板，却未必能控制其背后的机器。
购买模型之后，公平意味着什么
预警系统会估计一名学生能否完成某个项目。咨询人员随后利用这一估计决定联系谁。供应商可以提供输出，同时对模型本身保持封闭。
高校仍然可以改变标记学生的分数点。这被称为事后干预：在预测完成之后作出的调整，不打开模型，也不重新训练模型。它不会让预测更准确，而是改变哪些人被置于行动线之上或之下。
这条线迫使人们在两种错误之间作出选择。原本可以从帮助中受益的学生可能被漏掉。原本不需要帮助的学生可能收到不必要的标记，从有限的咨询服务中占用时间。当不同群体的完成率不同时，公平性指标也可能彼此冲突。让一个指标看起来更好，可能会让另一个变得更差。
仪表板可以改善，帮助却未必改善
研究人员在一个研究用复刻模型上测试了六种事后方法。这个复刻模型属于安大略省一所高校的自动化机器学习系统所选用的树模型类型。他们使用了168,550条第一学期学生记录，覆盖2008年至2023年。在测试期间，这个复刻模型被当作黑箱：这些方法都不能检查、修改或重新训练它。
结果并不是一个通用的公平性修复方案。这些方法可以改变醒目的指标，但通常是通过在群体之间转移错误来实现的。例如，校准缩小了一些差距，同时略微扩大了本国学生和国际学生之间假警报率的差异。
一种方法让各群体中被标记学生的比例都达到大约0.47–0.50。这在图表上可能看起来很平衡。但它也会标记大约一半的学生，而论文称这超出了合理的咨询服务能力。如果咨询人员无法处理这份名单，看起来公平的分配就没有多少帮助。
另一种方法几乎让真正处于风险中的男性和女性被识别出来的比例相等。但它也大幅增加了假警报：女性的比例从0.561升至0.837，男性的比例从0.406升至0.734。错误并没有消失，只是被重新安排了。
居住身份的结果也出现了同样的问题。两种方法把人数较少的国际学生群体标记为处于不利地位，尽管国际学生的正例率原本就高于本国学生。其中一种调整改变了706个居住身份预测，全部涉及国际学生。他们的正例率从0.916升至0.956，而本国学生的指标保持不变。
论文还警告说，其“未知性别”类别把非二元性别身份、其他回答、未报告和缺失数据合并在了一起。这些方法分别评估年龄、性别和居住身份，没有评估这些属性之间的交叉情况。小群体能提供的信息很少，而依赖群体层面数据的计算正需要这类信息。
更公平的系统需要什么
在高校咨询办公室，学生可以询问自己为什么被列入风险名单，或为什么没有被列入。咨询人员可以看到产生这一标记的错误权衡，并对这一分类提出申诉，而不是把供应商的分数当作最终结论。这样一来，咨询名额就会成为一个人们可以质疑的决定，而不是一个看不见的阈值所造成的结果。
要让这一场景成为现实，合同需要提供有实际意义的审计信息，机构也需要有足够的咨询服务能力来作出回应。高校还需要在如何权衡错误方面拥有发言权，而不只是从一组下游控制中进行选择。
这并不是对所有预警系统的裁决。研究人员表示，他们的复刻模型无法与实际运行中的供应商模型进行核对，而且这项工作只涉及一个机构。如果这一模式在实际部署中成立，那么购买模型之后再改变输出，不会是足够的保障。模型的设计、其目标的含义，以及人们根据其标记采取行动的能力，都将发挥作用。