語言模型會洩漏英語以外的電子郵件地址

多語言流暢度也可能讓語言模型記住的聯絡資料，透過不只一種語言被取得。研究人員將英語擷取提示翻譯成四種語言，並在七個開放模型上進行測試，找回最多 69.2% 曾在英語提示下洩漏的電子郵件地址。在客服櫃檯，隱私審查人員可能需要先測試所有支援的語言，才能批准使用助理。

只要有人用另一種語言索取，複製進語言模型訓練資料的電子郵件地址不一定會繼續隱藏。隱私檢查往往假設，要讓一段英語文字重新出現，就需要使用英語提示。這讓那些聯絡資料被從網路上刮取的人，得依賴一項可能在請求被翻譯後就消失的防護措施。

為什麼一種語言能成為取得相同資料的另一條路

語言模型透過吸收大量文字集合中的模式來學習。如果模型特別熟悉某個不尋常的序列，有時候相符的上下文就能讓它重現這個序列。這稱為訓練資料擷取。

問題在於，網路資料集合可能包含電子郵件地址、電話號碼和社群媒體帳號，而這些資料原本從未打算成為訓練材料。因此，模型可能持有個人資訊的片段，卻不理解這些資訊是私密的。

多語言模型不一定會把每種語言分別放在不同的心理盒子裡。模型內部可能會以部分共通的方式表示不同語言中的等義句子。這讓忠實翻譯不同於一般請求：它仍然貼近模型所學到的段落的措辭和結構。因此，這項測試衡量的是一條可能的攻擊途徑，而不是一般使用者多常會收到他人的聯絡資料。

隱私防護可以在訓練前移除資料、使用旨在保護訓練期間隱私的方法，或在模型訓練完成後進行編輯。但當模型接受多種語言時，每一種防護都更難檢查。只在英語環境中測試得到的乾淨結果，可能沒有看起來那麼有意義。

翻譯後的提示能讓地址重新出現

研究人員從 Pile-CC 語料庫中取得包含電子郵件地址、電話號碼或 Twitter 帳號的英語上下文。接著，他們將這些內容翻譯成法語、義大利語、西班牙語和德語，同時保留原有結構。測試涵蓋七個開放語言模型，包括主要以英語為訓練核心的模型，以及接受較多多語言訓練的模型。

翻譯後的提示能找回在英語中採用相同攻擊時曾經洩漏的資訊。在多語言模型中，翻譯版本最多能找回 91.4% 曾洩漏的 Twitter 帳號，以及 69.2% 曾洩漏的電子郵件地址。電話號碼較少能跨語言轉移。以英語為核心的模型展現出較弱的轉移效果，但翻譯後的提示仍能找回部分資訊。

這項差異很重要，因為改變請求的語言看似能形成隱私屏障，實際上卻可能只是改變了取得資料的路徑。研究人員也發現，在模型的中間 transformer 層，也就是協助將文字轉化為意義的內部部分，英語提示與其翻譯版本之間的匹配最強。這項結果具有相關性：它指出了一種關聯，但沒有證明共通表示是唯一原因。

這項攻擊刻意採用嚴格條件。它使用忠實翻譯、貪婪解碼，並針對每個查詢只生成一個步驟。在所有測試的語言和模型中，將提示改寫成意譯都降低了擷取率。團隊也針對每一種個人資訊，各檢查了 200 個翻譯樣本，與歷史網頁擷取資料進行比對，沒有發現完全相符的結果；這表示翻譯後的範例並不是單純從另一個網路來源複製而來。

隱私檢查需要的不只是英語

在馬德里的客服櫃檯，隱私審查人員可能會以西班牙語、英語，以及 AI 助理支援的其他語言，執行相同的擷取測試。助理不能只因為以英語詢問時拒絕產生記住的地址，就算通過測試。審查人員會檢查，另一種語言中的等效請求是否會重新帶回相同的資料。

這會讓多語言測試成為判斷移除資料或安全性聲明是否能保護那些資訊進入訓練資料的人們的一環。這也會為資料清理工具和移除已學資訊工具的開發者，提供單語言測試無法發現的目標。

這項結果目前還不是對每種語言或每個已部署系統的測試。實驗涵蓋的是與英語接近、資源豐富的語言，而且使用的是開放模型。在這成為例行工作之前，模型供應商需要支援多語言稽核，並確認移除效果能在等效提示下維持，而不只是原本的措辭。研究人員沒有公開包含個人資訊的資料；若要取得資料，必須簽署資料使用協議並通過機構驗證。

來源

arXiv, “Cross-Lingual Transferability of Training Data Extraction Attacks to Recover Memorized PII”