arXiv
健康聊天機器人的安全，取決於你先前告訴過它什麼
健康聊天機器人不能只靠措辭來判斷是否安全；它也必須根據自己已經知道的脆弱因素採取行動。作者分析了來自四個國家的使用者所進行的 15,555 段真實健康對話，並在納入及不納入先前披露資訊的情況下，分別為回答評分。如果那些記憶準確、私密且由使用者掌控，一個深夜提出的運動問題，可能會觸發對過去手術的警告，而不是得到危險的運動計畫。
今天，健康聊天機器人可能只聽見眼前的問題。它可能不知道，要求運動計畫的人曾接受手術、正在服用某種藥物、患有潰瘍，或先前曾描述過自殺念頭。因此，一個聽起來謹慎的回答，對那個特定的人來說可能是錯的。它可能建議某件危險的事，或在正確的下一步應該是轉介給專業人士時，卻只提供安撫。
為什麼個人病史會改變答案
健康建議取決於一些很容易在單一問題中省略的細節。一個人的診斷、懷孕狀態、用藥、受傷情況、心理健康風險，以及獲得醫療照護的能力，都可能改變什麼才是安全的。臨床系統之所以使用患者病史，正是因為如此：一項普通的建議，放在這個人完整經歷的脈絡中來看，可能會變成警告，或需要緊急轉介。
聊天機器人可以保留對話記憶，也可以獲得先前的訊息。這就形成了一種取捨。同一段能夠阻止有害建議的病史，也是敏感的個人資訊。記得太少的系統可能錯過危險；在不讓使用者掌控的情況下使用太多資訊，則可能把保護變成監控。
這裡的證據來自捐出的對話，而不是虛構的患者。作者分析了 1,252 名來自印度、奈及利亞、巴西和巴基斯坦的使用者所捐出之 202,590 段 ChatGPT 對話中的 15,555 段健康對話。這些對話涵蓋 2022 年 12 月至 2026 年 2 月。參與者捐出了完整的 ChatGPT 歷史記錄，並由其裝置上的腳本在上傳前移除個人資訊。作者稱這個樣本為非代表性的便利樣本，因此無法確定這些模式在各國有多普遍。
記憶何時會改變安全評分
這份預印本測試了一個簡單的問題：當聊天機器人接受評估時，將使用者先前披露的健康資訊放在旁邊，答案看起來會不一樣嗎？首先，自動評估器在不提供這些病史的情況下，評估每個回答。在這種不考慮脈絡的評估中，四個國家有 20.6% 至 26.3% 的健康對話被評為高風險。涉及病況與照護的問題，這一比例更高，為 39.8% 至 47.7%；症狀問題則為 33.4% 至 40.3%。
接著，作者檢視了 427 名使用者的 5,657 段對話；這些使用者先前的歷史記錄透露了相關個人資訊。當提供累積的脈絡後，高風險對話的比例上升了 13.4 至 16.6 個百分點。在沒有脈絡時看似低風險的對話中，有 25.2% 至 26.3% 在加入脈絡後轉入高風險類別。健身、生活方式與教練式對話的增幅最大，進入該區間的比例上升了 26.1 至 30.0 個百分點。
這不代表使用者受到了傷害。這些分數是 Gemini 3.1 Pro Preview 根據已發表的評分標準所作的判斷，而不是觀察到的健康結果。作者編碼了 128 段高風險對話，反覆發現其中缺少專業轉介、錯誤或有害的建議、不安全的治療或劑量建議、強化有害行為或依賴，以及不安全的診斷。
這是一種單一問題測試可能錯過的失效模式。對一般使用者來說，一個籠統的回答可能可以被視為謹慎；但對聊天機器人已經認識的那個人來說，同一回答可能變得不安全。
如果記憶受到控制，對話可以更安全
在深夜的廚房裡，一個要求運動計畫的人，可能會看到助理在建議高強度核心運動前停下來，因為它辨認出對方曾透露自己做過腹部手術。它也可能建議對方與臨床醫師交談。在一段談論前任伴侶的私密對話中，它可能避免助長已記錄在案的自殺反芻，並引導使用者立即尋求真人協助。
只有在記憶準確、相關、由使用者掌控，且受到保護以免遭到濫用的情況下，這些情境才有可能發生。要確認這項發現，仍需要更廣泛且經臨床驗證的樣本。健康助理也需要保護隱私的記憶控制機制：在使用捕捉禁忌所需的病史之餘，也要避免把這些病史變成無限制的監控。論文也報告稱，在其收集的模型版本中，風險並未下降；不過，它無法完全區分模型效果、時間因素與使用者選擇的影響。