2026年10月19日
Technology Watch

從實驗室到產業,追蹤新技術的路徑

← 回首頁

arXiv

聊天機器人應先問你是否安全

AI 繪製的示意圖

情緒 AI 應根據它是否在提供安慰或建議前,先確認年輕人的安全狀況來接受評估。十名持照臨床醫師重寫了五段 distress 對話,而每一段涉及自我傷害或妄想思維的重寫,都以安全提問開頭。在凌晨 2 點的宿舍房間裡,如果平台能把提示連接到可實際使用的當地支援服務,這可能意味著一次簡短的確認和一項可聯絡的服務,而不是聊天機器人的長篇獨白。

處於危機中的年輕人,可能會立刻收到 ChatGPT 聽起來很關心人的回覆,卻仍錯過最重要的第一個問題:你現在安全嗎?相反地,系統可能完整作答、提供應對步驟,或映照對方的情緒。這可能讓一次簡短的透露變成一段更長、情緒更強烈的交流,卻沒有把當事人連接到任何能提供幫助的人。

為什麼第一個問題很重要

通用型聊天機器人的設計,是為了產生看似有幫助的後續內容。當有人輸入令人不安的事情時,這種設計會把系統推向完整回答,而不是停下來詢問缺少的資訊。但一句簡短透露的含義,可能取決於聊天機器人尚未掌握的細節。一個人說自己害怕,可能正處於即時危險之中,也可能是在描述較早之前發生的事情。

這讓情緒支援不同於一般的問答。聊天機器人可以模仿溫暖的語言,但它看不見使用者周遭發生的事,無法聯絡其他人,也無法安排緊急支援。即使是危機轉介,如果只是告訴某人自行尋找支援,也可能幫助不大。一項當事人確實聯絡得到的指定服務,會更有用。

研究人員檢視了 158 名 18 至 25 歲使用者的完整 ChatGPT 歷史紀錄。這些紀錄總共包含 19,930 段對話。將近 40% 的參與者,在一項稱為 PHQ-4、由四個問題組成的 distress 篩檢中得分至少為 6 分。接著,研究人員選出五段分別涉及自我傷害、妄想思維、性侵犯、分手,以及對性慾感到羞恥的對話。十名持照臨床醫師檢視了這些交流,並逐輪寫下 33 個替代回覆。

感到 distress 的參與者也表示 ChatGPT 對他們的影響更大。他們的平均情緒投入在五分制中為 3.31,其他參與者則為 2.84。他們回報的行為改變為 3.89,其他參與者則為 3.54。這使回覆的順序變得重要:系統可能正是在使用者最難以承受時機不當的回答時,對他們產生更大影響。

更安全的對話順序

臨床醫師找出了七種反覆出現的失誤,包括直接跳到解決方案、給出泛泛的建議、沒有確認安全狀況、跨越工具與陪伴者之間的界線、配合有害的要求,以及使用會升高情緒的語言。

他們的重寫,將「安全的情緒 AI」這個寬泛概念轉化為一套可以在對話紀錄中檢查的順序。首先,詢問是否有即時安全疑慮。接著降低情緒強度。之後,在不認同尚未獲得驗證的信念之下,了解正在發生的事情。臨床醫師在自我傷害和妄想的重寫中,都以安全提問開頭。

這是一套不同於檢查聊天機器人是否使用正確安慰語句的標準。它要求確認系統是否在正確的時機、以正確的順序作出回應。這套建議的設計規則也要求提供具體、可聯絡的轉介服務,清楚劃定界線,並在承認對方感受後提出澄清問題,而不是主動提供未被要求的建議。這樣的流程比要求 AI 表現得有同理心這種模糊指令,更容易測試。

Refer to caption
Figure 2. Distressed young people reported greater emotional engagement and behavioral change than their non-distressed peers. Trust and self-efficacy pointed the same way but did not survive correction. Mean Likert response (1–5) ±1 SE by PHQ-4 group (Distressed ≥6\\geq 6, n=63n=63; below threshold <6<6, n=95n=95). Emotional Engagement and Behavioral Change survive FDR correction; Trust and Self-Efficacy point the same way but are only marginal. Dependency Concern is omitted from this panel as it showed no association (d=−0.15d=-0.15, n.s.).A line chart titled ``How does psychological distress relate to young people's use of ChatGPT?'' comparing two groups of participants across four measures on the horizontal axis, in this order: Trust, Emotional Engagement, Self-Efficacy, and Behavioral Change. The vertical axis is the mean Likert response from 1 to 5, shown from about 2.75 to 4.25, with error bars of plus or minus one standard error. A red line marks distressed youth (PHQ-4 of 6 or above, $n = 63$) and a grey line marks non-distressed youth (below 6, $n = 95$); the gap between them is shaded. The red line sits above the grey line at every measure. Trust is about 4.06 for distressed versus 3.83 for non-distressed; Emotional Engagement about 3.31 versus 2.84; Self-Efficacy about 4.16 versus 3.95; Behavioral Change about 3.89 versus 3.54. Both lines dip at Emotional Engagement, which is the lowest point for either group, and the gap between the groups is widest there. Asterisks marking FDR-significance appear above Emotional Engagement and Behavioral Change only. $N = 158$.### 4.1. RQ1: How does psychological distress relate to young people’s use of ChatGPT? 出處: Right Words, Wrong Moment: A Clinician-Grounded Analysis of Distress in 19,930 Conversations between Young People and ChatGPT(arXiv)

有用的回覆可以是什麼樣子

凌晨 2 點,在宿舍房間裡,一名學生輸入自己在傷害自己後感到害怕。按照這些規則,聊天不會以一整頁的安慰話語和自我照護建議開頭。它會先詢問學生現在是否安全,在需要幫助時提供一項指定服務,並一次只跟進一個簡單問題。

這個未來取決於平台在真實使用情境中測試這些規則,並把安全提示連接到人們確實能使用的當地支援服務。這些發現來自一個平台和五個深入檢視的案例,因此可能不適用於每個系統或每一種 distress。即使有更好的順序,也不會讓聊天機器人成為臨床醫師:它仍無法觀察非語言線索、聯絡第三方,或確保交接成功。

如果這些規則在更廣泛的測試中站得住腳,就能為產品團隊、稽核人員和監管機構提供更清楚的方式,來評估一段涉及脆弱處境的對話。測試不再只看機器人是否封鎖了禁止的詞句,或顯示免責聲明。它也會檢查機器人是否認識到,有時最有幫助的回答,是先提出一個問題。

來源

arXiv,〈Right Words, Wrong Moment: A Clinician-Grounded Analysis of Distress in 19,930 Conversations between Young People and ChatGPT〉