arXiv
心理健康聊天機器人能排出污名高低，卻沒有測量污名
心理健康聊天機器人可以重現一種關於污名的排名，卻沒有測量這種排名是否符合人們的真實經驗。這份論文比較了 GPT-4 和 GPT-5 mini 的回答，以及 76,406 名美國高等教育學生的回答，發現這些模型把幾種污名程度判斷錯了。在大學宿舍房間裡，支援應用程式只有在開發者針對那個學生所屬的人群驗證每一項說法後，才能提供有證據支持的同學態度指引。
一名學生詢問心理健康聊天機器人其他人會怎麼想，其實是在詢問一個沒有證據顯示能校準真實社會態度的系統。回答可能聽起來既體貼又肯定，卻把學到的刻板印象變成「尋求協助是否安全」的建議。聊天機器人可以描述它認為男性、女性或非二元性別者相信什麼，卻不知道那些人實際上有何感受。
污名是什麼
心理健康污名不是單一的一種感受。它可能指一個人對心理健康問題患者的態度、他們會施加在自己身上的羞恥感，或是他們認為其他人如何看待心理疾病。這些是不同的問題，因此通常會透過針對特定人群的調查來測量。
這一點很重要，因為社會態度會隨地點、年齡、文化和時間而改變。語言模型的運作方式不同。它會根據用來訓練它的材料中的模式，生成可能出現的文字。因此，模型對某個群體給出流暢的回答，並不能證明它測量過那個群體。
模型仍然可能答對其中一個部分。例如，它可能保留各群體的順序——把一個群體排在另一個群體之前——卻把污名的實際程度判斷得大錯特錯。這就是重複一種模式，與校準至現實之間的差異。
比較
這份論文透過兩項針對 GPT-4 和 GPT-5 mini 的研究，測試了這種差異。在第一項研究中，GPT-4 針對每一項測量和每個性別群體，分別產生 1,000 份調查式回答。研究人員使用 GPT-5 mini，檢查這種模式在另一個模型中是否成立。
兩個模型都把男性描述為：與心理健康問題患者保持最大社交距離、持有最強烈的負面刻板印象，以及對尋求專業協助的態度最不正面。這聽起來像是有用的社會資訊。但第二項研究詢問的是，這些描述背後的數字是否與人類的回答相符。
研究人員將模型的估計，與 Healthy Minds Study 在 2022–2023 學年收集的 76,406 名美國高等教育學生回答進行比較。人類資料涵蓋女性、男性和非二元性別受訪者，三者合計佔資料集的 97%。
GPT-4 高估了每個群體的自我污名。女性的平均估計值為 2.80，而人類回答為 1.89；男性為 2.91，而人類回答為 2.19；非二元性別受訪者為 2.44，而人類回答為 1.68。與此同時，模型低估了這三個群體的個人污名和感知污名。
在個人污名和自我污名方面，模型確實保留了人類資料中的順序：男性排在第一，接著是女性，然後是非二元性別受訪者。但模型在感知污名方面失準。它估計非二元性別受訪者的程度最高，與人類資料中的模式不同。
經過測試的回答，而不是潤飾過的猜測
這項結果不代表聊天機器人對社會態度一無所知。它代表模型可以學會它認為哪些人感受到更多污名，卻不知道人們實際感受到多少污名。因此，除非某項特定說法已經與人口資料比對，否則針對「人們怎麼想」的肯定回答，就不是可靠的社會晴雨表。
研究人員表示，他們的提示測量的是受控制的調查估計，而不是人在自然、持續對話中的行為。人類比較資料也來自美國高等教育學生，因此可能無法代表其他人群或文化環境。
在大學宿舍房間裡，一名學生詢問支援應用程式，同學是否會因為自己去看心理治療師而評判自己，得到的回答可能會連結到針對該學生所屬人群進行測試的證據。或者，應用程式也可能表示自己無法做出這項說法。這會不同於根據模型學到的模式，提供一個潤飾過的猜測。
要讓這樣的未來安全，開發者必須針對工具預定服務的人群，在工具將被使用的環境和對話中，逐項驗證每一項社會說法。隨著模型和公眾態度改變，這些檢查也需要重複進行。這裡的結果並未確立這些系統在真實、多輪的支援對話中會如何運作。