心理健康聊天机器人可以对污名进行排序，却没有测量污名

心理健康聊天机器人可以复现关于污名的排序，却无法测量这种排序是否符合人们的真实经历。这篇论文将 GPT-4 和 GPT-5 mini 的回答与 76,406 名美国高等教育学生的回答进行了比较，发现这些模型弄错了几个污名水平。在大学宿舍里，只有当开发者针对特定学生群体验证每一项说法时，心理健康支持应用才能就同学的态度提供有证据支持的指导。

一名学生询问心理健康聊天机器人其他人会怎么想，其实是在询问一个没有经过验证、无法反映真实社会态度的系统。这个回答听起来可能既体贴又确定，却可能把模型学到的刻板印象变成“寻求帮助是否安全”的建议。聊天机器人可以描述它认为男性、女性或非二元性别者相信什么，却不知道这些人实际经历了什么。

什么是污名

心理健康污名不是一种单一的感受。它可以指一个人对心理健康问题患者的态度、他们会施加于自身的羞耻感，或者他们认为其他人如何看待心理疾病。这些是不同的问题，因此通常要通过针对特定人群的调查来测量。

这很重要，因为社会态度会随着地点、年龄、文化和时间而变化。语言模型的工作方式不同。它根据用于训练自己的材料中的模式，生成可能出现的文本。因此，一段关于某个群体、语言流畅的回答，并不能证明模型测量过这个群体。

不过，模型仍然可能在一个方面答对。它或许能保留不同群体之间的顺序——例如把一个群体排在另一个群体之前——却严重弄错污名的实际程度。这就是复现一种模式与校准到现实之间的区别。

比较

这篇论文通过两项关于 GPT-4 和 GPT-5 mini 的研究检验了这种差异。在第一项研究中，GPT-4 针对每项测量指标和每个性别群体，分别生成了 1,000 份调查式回答。研究人员使用 GPT-5 mini 来检查这一模式是否也出现在另一种模型中。

两种模型都将男性描述为：与心理健康问题患者之间的社会距离最大、负面刻板印象最强，并且对寻求专业帮助的态度最不积极。这听起来像是有用的社会信息。但第二项研究询问的是，这些描述背后的数字是否与人类的回答相符。

研究人员将模型的估计与《健康心态调查》（Healthy Minds Study）2022—2023 学年收集的 76,406 名美国高等教育学生的回答进行了比较。人类数据涵盖女性、男性和非二元性别受访者，这三类人合计占数据集的 97%。

GPT-4 高估了每个群体的自我污名。它对女性的平均估计为 2.80，而人类回答为 1.89；对男性为 2.91，而人类回答为 2.19；对非二元性别受访者为 2.44，而人类回答为 1.68。与此同时，该模型低估了三个群体的个人污名和感知污名。

对于个人污名和自我污名，该模型保留了人类数据中的排序：男性排在第一位，其次是女性，然后是非二元性别受访者。但它在感知污名上失败了。它估计非二元性别受访者的水平最高，这与人类数据中的模式不同。

经过检验的回答，而不是经过润色的猜测

这一结果并不意味着聊天机器人对社会态度一无所知。它意味着，模型可以学会判断它认为谁感受到的污名更多，却不知道人们实际感受到多少污名。因此，除非某项具体说法已经与人群数据进行过核对，否则关于“人们怎么想”的自信回答并不是一种可靠的社会晴雨表。

研究人员表示，他们的提示词测量的是受控条件下的调查估计，而不是自然、持续的对话中的行为。用于人类比较的数据也来自美国高等教育学生，因此未必能代表其他人群或文化环境。

在大学宿舍里，一名学生询问支持应用，同学会不会因为自己去看心理治疗师而评判自己，得到的可能是与针对该学生群体进行过检验的证据相联系的回答。应用也可能说，它无法做出这种判断。这将不同于根据模型学到的模式，给出一个经过润色的猜测。

要让这样的未来变得安全，开发者就必须针对工具 intended 服务的人群，在工具将被使用的环境和对话中，验证每一项有关社会态度的说法。随着模型和公众态度发生变化，这些检查也需要反复进行。这里的结果并不能说明这些系统在真实的、多轮支持对话中会如何表现。

来源

arXiv，《心理健康污名的人工智能表征：使用基于 GPT 的大语言模型量化不同性别群体中人工智能估计与人类感知之间的差距》