arXiv
更換主題無法保護 AI 助理中的秘密
改變話題並不是可靠的隱私界線，無法防止仍把早先訊息保留在活躍上下文中的 AI 助理洩漏資訊。PrivDrift 基準測試在 1,000 段對話中測試了三個模型，發現對話層級的洩漏率介於 38.7% 到 54.6% 之間。在診所櫃檯，如果助理移除或限制敏感上下文，後續的預約工作就能與病人的初診資料分開。
一個人可能會為了某項工作，把電子郵件地址或電話號碼提供給聊天機器人，接著以為幾次無關的對話已經讓這些資訊實際上不再重要。在共用的瀏覽器工作階段或工作場所的助理中，這種想法並不安全。後來的使用者或惡意指令，可能要求助理重複仍留在活躍對話中的資訊。
對話仍然是輸入的一部分
語言模型不需要永久記憶，就能重複早先的某項資訊。它通常會在寫出下一個回答時，接收活躍對話作為輸入。如果早先的訊息仍在該輸入中，模型就能把它當成可用的材料。
這很重要，因為現代助理往往會把多種類型的材料放進同一個工作上下文：使用者訊息、文件、瀏覽器結果，以及工具的輸出。企業副駕也一樣。產品可能會保護儲存的紀錄，或試圖防止訓練資料遭到擷取，卻仍允許模型重複對話中已經存在的秘密。
這是另一種隱私問題。它關乎如何控制資訊在一段活躍對話內的流動位置。提示注入讓問題更加嚴重：不受信任的文字可以被放在助理需要處理的指令與材料之間。
有些秘密比其他秘密更容易被安全系統發現。信用卡號或社會安全號碼具有容易辨認的格式。電子郵件地址或電話號碼則可能看起來只是完成工作所需的普通資訊。
改變主題不是鎖
PrivDrift 是為了測試這項確切風險而設計的基準。它測量助理是否會在對話經過無關主題、而後續要求以不同方式措辭之後，洩漏稍早提供的秘密。這項基準包含 1,000 段對話，其中包括合成對話與由人類撰寫的對話。它測試電話號碼、電子郵件地址、社會安全號碼和信用卡號。
作者測試了 GPT-OSS-120B、DeepSeek-R1 和 Qwen3-VL-235B。在受測模型中，對話層級的混合洩漏率介於 38.7% 到 54.6% 之間。換句話說，改變主題並不能可靠地讓早先披露的資訊變得不可用。
測試使用的主題漂移，從沒有插入的對話輪次到六輪不等。在這個範圍內，作者只發現主題漂移長度與是否發生洩漏之間存在微小或可忽略的關聯。在觀察到的範圍內，沒有任何受評估的模型達到論文所定義的穩定抑制門檻。
這項結果並不只是根據完全相同的字元是否再次出現。洩漏標籤結合了正規化字串比對，以及一個擔任裁判的開放權重 Llama 模型。作者也報告，在這項基準中，電子郵件和電話號碼的洩漏頻率遠高於社會安全號碼和信用卡號。這種差異符合基本問題：主要尋找特殊格式的系統，可能會漏掉看起來像普通對話的敏感細節。
更安全的助理會怎麼做
在診所櫃檯，一名員工可能會在病人使用助理完成初診資料後，再用它安排預約。在更安全的情境中，當員工要求提供「上面提到的聯絡資料」時，助理可以回答下一個預約的問題，而不重複病人早先的電話號碼。
這個未來取決於設計上的改變，而不只是更好的拒答措辭。第一項工作結束時，助理需要分離或刪除敏感上下文，並拒絕之後的使用者或連線工具試圖取回這些資訊的指令。活躍上下文中保留的每一項資訊，都必須被視為具有存取規則的資料，而不是預期會在主題改變時逐漸淡出的文字。
這項基準並不是測試助理可能記住的一切。它沒有涵蓋跨工作階段記憶、訓練資料的記憶，或整個現代上下文視窗中的主題漂移。作者也沒有保留足以分別報告人類撰寫對話與合成對話結果的中繼資料。這項主張比較狹窄，但很有用：在受測的對話中，改變主題並不是可靠的隱私界線。