2026年10月19日
Technology Watch

从实验室到产业,追踪新技术的路径

← 返回首页

arXiv

聊天机器人应该先问你是否安全

AI 绘制的示意图

情感人工智能应当根据它是否会在提供安慰或建议前,先确认年轻人的安全状况来评判。10名持证临床医生重写了5段困扰对话,而所有涉及自残或妄想性思维的重写都以一个安全问题开头。在凌晨2点的宿舍里,如果平台能把这个提示连接到当地可用的支持服务,这可能意味着一次简短的确认和一个联系得上的服务,而不是一大段聊天机器人的独白。

身处危机的年轻人可能会立即收到一条听起来很体贴的ChatGPT回复,却错过了最重要的第一个问题:你现在安全吗?相反,系统可能会完整作答、提供应对步骤,或模仿对方的情绪。这可能让一次简短的透露变成一场更漫长、情绪更激烈的交流,却没有把当事人连接到任何能够提供帮助的人。

为什么第一个问题很重要

通用聊天机器人被设计成生成看起来有帮助的后续内容。当有人输入令人不安的内容时,这种设计会推动系统给出完整答案,而不是停下来询问缺失的信息。但一句简短透露的含义,可能取决于聊天机器人尚不了解的细节。一个人说自己害怕,可能意味着正处于紧急危险中,也可能是在描述早些时候发生的事情。

这使得情感支持不同于普通的问答。聊天机器人可以模仿温暖的语言,但它看不到用户身边正在发生什么,无法联系其他人,也无法安排紧急支持。即使是危机转介,如果只是告诉当事人自己去寻找支持,也可能帮助不大。一个当事人确实能够联系上的、明确点名的服务,会更有用。

研究人员分析了158名18至25岁用户的完整ChatGPT聊天记录。这些记录总共包含19,930段对话。参与者中,近40%的人在一项名为PHQ-4、包含4个问题的困扰筛查中得分至少为6分。随后,研究人员选出了5段分别涉及自残、妄想性思维、性侵、分手以及对性欲感到羞耻的对话。10名持证临床医生审阅了这些交流,并逐轮写下了33条替代回复。

感到困扰的参与者还表示,ChatGPT对他们的影响更大。他们的平均情感投入为五分制的3.31分,而其他参与者为2.84分。他们报告的行为变化为3.89分,而其他参与者为3.54分。这使回复的顺序变得重要:当用户最难以接受一条时机不当的回答时,系统的影响力可能恰恰更大。

更安全的对话顺序

临床医生发现了7种反复出现的失败。这些包括直接跳到解决方案、给出泛泛的建议、没有确认安全状况、越过工具与陪伴者之间的界限、顺从有害请求,以及使用会升级情绪的语言。

他们的重写把“安全的情感人工智能”这一宽泛理念,变成了一套可以在聊天记录中逐项检查的顺序。首先,询问是否存在即时安全风险。然后,降低情绪强度。之后,在不认同未经核实的信念的前提下,了解正在发生什么。临床医生对自残和妄想案例的重写,都以一个安全问题开头。

这与询问聊天机器人是否使用了正确的安慰性措辞,是一种不同的标准。它询问的是,系统是否在正确的时刻、按照正确的顺序作出了回应。拟议的设计规则还要求提供具体且能够联系到的转介服务,明确边界,并在确认对方感受后提出澄清性问题,而不是主动给出未经请求的建议。相比要求人工智能表现得富有同理心这样含糊的指令,这样的流程更容易测试。

Refer to caption
Figure 2. Distressed young people reported greater emotional engagement and behavioral change than their non-distressed peers. Trust and self-efficacy pointed the same way but did not survive correction. Mean Likert response (1–5) ±1 SE by PHQ-4 group (Distressed ≥6\\geq 6, n=63n=63; below threshold <6<6, n=95n=95). Emotional Engagement and Behavioral Change survive FDR correction; Trust and Self-Efficacy point the same way but are only marginal. Dependency Concern is omitted from this panel as it showed no association (d=−0.15d=-0.15, n.s.).A line chart titled ``How does psychological distress relate to young people's use of ChatGPT?'' comparing two groups of participants across four measures on the horizontal axis, in this order: Trust, Emotional Engagement, Self-Efficacy, and Behavioral Change. The vertical axis is the mean Likert response from 1 to 5, shown from about 2.75 to 4.25, with error bars of plus or minus one standard error. A red line marks distressed youth (PHQ-4 of 6 or above, $n = 63$) and a grey line marks non-distressed youth (below 6, $n = 95$); the gap between them is shaded. The red line sits above the grey line at every measure. Trust is about 4.06 for distressed versus 3.83 for non-distressed; Emotional Engagement about 3.31 versus 2.84; Self-Efficacy about 4.16 versus 3.95; Behavioral Change about 3.89 versus 3.54. Both lines dip at Emotional Engagement, which is the lowest point for either group, and the gap between the groups is widest there. Asterisks marking FDR-significance appear above Emotional Engagement and Behavioral Change only. $N = 158$.### 4.1. RQ1: How does psychological distress relate to young people’s use of ChatGPT? 出处: Right Words, Wrong Moment: A Clinician-Grounded Analysis of Distress in 19,930 Conversations between Young People and ChatGPT(arXiv)

有用的回复可能是什么样

凌晨2点,在宿舍房间里,一个学生输入说自己在伤害自己后感到害怕。按照这些规则,聊天不会先显示一整页安慰话语和自我照护建议。它会先询问学生现在是否安全,在需要帮助时提供一个明确点名的服务,并且一次只围绕一个简单问题继续交流。

这一未来取决于平台在真实使用中测试这些规则,并把安全提示连接到人们确实能够使用的当地支持服务。研究结果来自一个平台和5个经过深入分析的案例,因此未必适用于每个系统或每种困扰。而且,即使采用更好的顺序,也不会让聊天机器人变成临床医生:它仍然无法观察非语言线索、联系第三方,或确保转交支持成功。

如果这些规则在更广泛的测试中经得住检验,它们可以为产品团队、审计人员和监管机构提供一种更清晰的方法,来评判一次脆弱处境中的对话。测试的标准将不再只是聊天机器人是否拦截了被禁止的词句,或是否显示了免责声明。还要看它是否意识到,有时最有帮助的回答,是先提出一个问题。

来源

arXiv,《Right Words, Wrong Moment: A Clinician-Grounded Analysis of Distress in 19,930 Conversations between Young People and ChatGPT》