2026年10月19日
Technology Watch

從實驗室到產業，追蹤新技術的路徑

← 回首頁

arXiv

個人化嵌入能在沒有聊天記錄的情況下學習

AI 繪製的示意圖

精簡的使用者記憶可以讓個人化助理在不保留完整聊天記錄的情況下學習偏好，但關鍵風險在於是否信任模型對使用者滿意度的自行推測。COPE 的作者讓 256 名模擬使用者各自擁有學得的嵌入，並以稀疏回饋訓練語言模型。在廚房裡，只要模型的自我評分仍然準確，晚餐建議就能符合某個人的預算與烹飪風格，而不必反覆修正。

今天的個人助理有兩種不太理想的方式來記住你。它們可以在每次新的請求旁附上過去對話的長篇摘要，或是找出舊對話片段，貼到每個新的請求中。這種記憶會佔用目前問題旁的空間，可能帶回不相關的內容，也仍然會讓你需要糾正助理，因為它把你的品味當成一般人的偏好。如果明確回饋很少，服務提供者就幾乎沒有可用的證據來改善系統。

更小型的記憶

COPE 從另一個想法出發：為每位使用者提供一個精簡的數值狀態，而不是一份可讀的個人檔案。這個狀態稱為個人化嵌入。它不是一張寫著「喜歡便宜的餐點」或「偏好慢旅行」的清單，而是一組引導語言模型給出符合某個人需求的答案的數字。

這種精簡很重要，因為同一個共享模型要服務許多人。直接用某個人的回饋訓練模型，可能會改善那個人的答案，卻同時改變它對所有人的行為。獨立的使用者狀態，則試圖在不讓每個提示詞都塞滿個人歷史的情況下，學習個別使用者的偏好。

但這個狀態也很難檢查。使用者或營運者無法輕易讀懂它、修正其中一個錯誤的信念，或確切知道它推斷出了什麼。而且，如果模型錯誤地評估自己的答案，它可能會從自己的錯誤中學習。

從缺少的評分中學習

論文介紹的 COPE，會把每位使用者的狀態表示為放在使用者文字前面的虛擬 token。這些不是顯示給使用者看的文字，而是模型在讀取請求時一併讀取的額外數值引導。

這套方法在反覆進行的「互動—收集—最佳化」（Interact-Collect-Optimize）迴圈中，同時更新這個狀態與共享模型。助理會回答一個請求。使用者留下評論時，該文字會改變使用者嵌入。使用者提供數字時，該數字會協助校準模型的自我評估。對於之後沒有回饋的請求，模型可以使用自己預測的分數，代替缺少的評分。

COPE 從兩個部分評分一個答案：答案是否完整，以及是否符合使用者。獎勵是這兩個分數的乘積。在論文的主要實驗中，256 名模擬使用者收到單輪任務的答案。在 50% 的回饋比例下，COPE 的得分為 4.69（滿分 10 分），基於訓練的個人檔案提示詞得分為 4.47，而將個人檔案加入提示詞的做法得分為 3.65。將 COPE 與稀疏檢索結合後，得分達到 5.23。

最重要的數字反而不太亮眼。模型的自我評估器在它做出方向性判斷的配對中，有 72.63% 與使用者回饋的排名一致。這表示錯誤猜測有許多機會變成訓練資料。一個系統如果認定某個答案讓使用者滿意，接著再用這個判斷來塑造下一個答案，就可能強化使用者從未有過的偏好。

Refer to caption
Figure 1: Illustration of the dynamic interaction scenario and the iterative “Interact-Collect-Optimize” loop. (a) Interaction & Sparse Feedback: During session tt, for each user, the assistant πθt\\pi\_{\\theta\_{t}} generates a response to the query, guided by the user-specific personalized embedding. If it fails to align with the user’s hidden preferences ηi\\eta\_{i}, explicit feedback (textual fitf\_{i}^{t} and numerical sits\_{i}^{t}) is provided sparsely with probability pp. (b) Data Collection & Optimization: Interaction data 𝒟1t\\mathcal{D}\_{1}^{t} (without feedback) and 𝒟2t\\mathcal{D}\_{2}^{t} (with feedback) are collected to iteratively optimize the model. (c) Subsequent Interaction & Improvement: When encountering a query involving the similar preference in subsequent sessions t+kt+k, the updated assistant πθt+k\\pi\_{\\theta\_{t+k}} successfully incorporates learned preferences to provide a personalized response.## 2 Setup 出處: COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation（arXiv）
Refer to caption
Figure 6: Schematic illustration of personalized embedding integration and the forward computation and backward optimization of the three objectives in the optimization stage of COPE. Personalized embeddings are implemented as ll virtual tokens and prepended to the text embeddings to provide user-specific guidance. For clarity, the assistant model is conceptually decomposed into an embedding layer and a decoder to explicitly visualize the embedding of textual inputs and their concatenation with personalized embeddings, although both components belong to the same assistant model. Two different system prompts are used: a response-generation prompt (pink) and a self-evaluation prompt (green), both of which are provided in our code repository. Trainable parameters under each objective are marked with spark icons, while frozen parameters are indicated by snowflake icons.## Appendix E Illustration of Personalized Embedding Integration and Optimization Flow 出處: COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation（arXiv）

如果記憶變得值得信賴

在廚房裡，某個人可以每週請助理提供晚餐點子，而不必重複說明預算、食材和烹飪風格等相同的修正。助理可以從零散的評論中學會這些偏好，而不是在每次請求中都帶上完整的對話記錄。在旅遊預訂聊天中，推薦內容可以符合某個人偏好的步調與無障礙需求，而不必每次都顯示過去對話的摘要。

這個未來取決於學得的狀態在品味改變後仍然有用，也取決於服務提供者是否能讓持續保存的偏好安全、可控且準確。COPE 的測試使用了大型語言模型（LLM）模擬器、事先生成並經人工檢查的查詢、每位使用者 51 次互動，以及單輪對話。真實的人、較長的關係和不斷變化的偏好，仍然必須證明模型私下的猜測能否安全地取代使用者的判斷。

來源

COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation（arXiv）