2026年10月19日
Technology Watch

从实验室到产业，追踪新技术的路径

← 返回首页

arXiv

个性化嵌入无需聊天记录也能学习

AI 绘制的示意图

一个紧凑的用户记忆可以让个性化助手在不携带完整聊天记录的情况下学习用户偏好，但关键风险在于是否相信模型自己对用户满意度的猜测。COPE 的作者为256名模拟用户分配了学习得到的嵌入，并利用稀疏反馈训练了一个语言模型。在厨房场景中，只要模型的自评保持准确，晚餐建议就能符合一个人的预算和烹饪习惯，而不必反复纠正。

如今的个人助手有两种不太理想的方式来记住你。它们可以在每次请求中携带一份很长的过往对话摘要，也可以检索旧对话片段，把它们粘贴到每个新请求中。这种记忆会占用当前问题旁边的空间，可能带回无关内容；当助手把你的口味当成普通偏好时，你仍然得纠正它。如果没有多少明确反馈，服务提供商就几乎没有可用于改进系统的有效证据。

更小的一种记忆

COPE 从一个不同的想法出发：为每个用户提供一个紧凑的数值状态，而不是一份可读的用户档案。这种状态叫作个性化嵌入。它不是一张写着“喜欢便宜饭菜”或“偏好慢节奏旅行”的清单，而是一组引导语言模型给出适合某个人的答案的数字。

这种紧凑性很重要，因为一个共享模型要服务很多人。直接用某一个人的反馈训练模型，可能会改善这个人的答案，却同时改变它对所有人的行为。单独的用户状态旨在学习个人偏好，而不必在每个提示中塞入完整的个人历史。

但这种状态也很难检查。用户或运营人员无法轻易读懂它、纠正其中某个错误认知，或确切知道它推断出了什么。而且，如果模型错误地判断了自己的答案，它就可能从自己的错误中继续学习。

从缺失的评分中学习

论文介绍的 COPE，把每个用户的状态表示为放在用户文本前面的虚拟词元。它们不是展示给用户的文字，而是模型与请求一起读取的额外数值指引。

这种方法通过反复运行的“交互—收集—优化”（“Interact-Collect-Optimize”）循环，更新这一状态和共享模型。助手回答一个请求。当用户给出评论时，这段文字会改变用户嵌入。当用户给出一个数字时，这个数字会帮助校准模型的自我评估。对于之后没有反馈的请求，模型可以使用自己预测的分数，代替缺失的评分。

COPE 从两个方面给答案评分：答案是否完整，以及是否适合用户。奖励值是这两个分数的乘积。在论文的主要实验中，256名模拟用户收到了针对单轮任务的答案。在反馈率为50%时，COPE 得分为4.69（满分10分），而基于训练的用户档案提示得分为4.47，将用户档案加入提示的做法得分为3.65。COPE 与稀疏检索结合后，得分达到5.23。

最重要的数字却不那么乐观。当模型做出方向性判断时，它的自我评估器与用户反馈排序的一致率为72.63%。这意味着错误猜测有很多机会变成训练数据。一个系统如果认定某个答案让用户满意，然后利用这一判断塑造下一个答案，就可能强化一个用户从未拥有过的偏好。

Refer to caption
Figure 1: Illustration of the dynamic interaction scenario and the iterative “Interact-Collect-Optimize” loop. (a) Interaction & Sparse Feedback: During session tt, for each user, the assistant πθt\\pi\_{\\theta\_{t}} generates a response to the query, guided by the user-specific personalized embedding. If it fails to align with the user’s hidden preferences ηi\\eta\_{i}, explicit feedback (textual fitf\_{i}^{t} and numerical sits\_{i}^{t}) is provided sparsely with probability pp. (b) Data Collection & Optimization: Interaction data 𝒟1t\\mathcal{D}\_{1}^{t} (without feedback) and 𝒟2t\\mathcal{D}\_{2}^{t} (with feedback) are collected to iteratively optimize the model. (c) Subsequent Interaction & Improvement: When encountering a query involving the similar preference in subsequent sessions t+kt+k, the updated assistant πθt+k\\pi\_{\\theta\_{t+k}} successfully incorporates learned preferences to provide a personalized response.## 2 Setup 出处: COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation（arXiv）
Refer to caption
Figure 6: Schematic illustration of personalized embedding integration and the forward computation and backward optimization of the three objectives in the optimization stage of COPE. Personalized embeddings are implemented as ll virtual tokens and prepended to the text embeddings to provide user-specific guidance. For clarity, the assistant model is conceptually decomposed into an embedding layer and a decoder to explicitly visualize the embedding of textual inputs and their concatenation with personalized embeddings, although both components belong to the same assistant model. Two different system prompts are used: a response-generation prompt (pink) and a self-evaluation prompt (green), both of which are provided in our code repository. Trainable parameters under each objective are marked with spark icons, while frozen parameters are indicated by snowflake icons.## Appendix E Illustration of Personalized Embedding Integration and Optimization Flow 出处: COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation（arXiv）

如果这种记忆变得值得信赖

在厨房里，有人可以询问晚餐点子，而不必每周重复说明预算、食材和烹饪习惯。助手可以从零散的评论中学习这些偏好，而不是在每次请求中都携带完整的对话历史。在旅行预订聊天中，推荐可以符合一个人偏好的旅行节奏和无障碍需求，而不必每次都显示旧对话的摘要。

这一未来取决于：当口味发生变化时，学习得到的状态仍然有用。它也取决于服务提供商能否让持久化偏好变得安全、可控且准确。COPE 的测试使用了一个 LLM 模拟器、预先生成并经过人工检查的查询、每名用户51次交互，以及单轮会话。真实的人、更长的关系和不断变化的偏好，仍需证明模型的私人猜测能否安全地替代用户自己的判断。

来源

COPE：稀疏用户反馈下通过用户嵌入和自我评估实现 LLM 持续个性化