2026年10月19日
Technology Watch

从实验室到产业,追踪新技术的路径

← 返回首页

arXiv

模型一变,稳定的合成群体也会变

AI 绘制的示意图

语言模型可以生成稳定的合成群体,却未必能可靠地描绘真实的人。作者测试了 9 个开放权重模型,让它们为旅行目的地、餐馆和商品分配偏好,并将每个请求重复最多 20 次。如果这类模拟经过人类数据验证,城市规划部门就可以在客流量预测旁边标出所用的确切模型检查点。

可以让语言模型代替调查受访者、购物者或旅行者。反复向它提出同一个问题,它可能会给出一份整齐的清单,列出一个群体 supposedly 偏好的东西。这种看似稳定的结果很有用——但也可能掩盖一个基本问题:这份清单描述的可能是模型,而不是这些人。

可重复的答案不等于经过测量的意见

偏好分布其实就是一组附有数字的选择。例如,一个系统可能会为 300 个可能的航空旅行目的地、餐馆或 Home & Kitchen 商品分配概率。这些数字看起来像调查结果,但模型并没有测量任何人的选择。它只是根据训练和后续调优中形成的模式,生成了表述出来的概率。

这就造成了可复现性与准确性之间的差异。可复现性意味着每次都能得到相似的答案。准确性,也就是校准,则意味着这些答案与现实相符。一个模型可以具备前一种性质,却不具备后一种。调查、行为记录或实验不可用时,合成群体仍然可能有用,但它们携带的可能是训练数据中的模式,而不是所模拟群体的特征。

因此,更换模型并不像安装普通的软件更新。不同模型的训练数据、微调方式和其他训练后处理方法可能不同。更大的模型并不自动意味着同一个模拟群体的较新版本。

模型一变,群体就会移动

作者评估了来自 Llama、Qwen 和 Mistral 系列的 9 个开放权重模型。他们在相同设置下要求每个模型为这三组选择给出明确的概率分布,并将请求重复最多 20 次。

在同一个模型内部,答案往往会稳定成一种可识别的形状。在重复采样中,最可能的 5 个选择之间的平均重合度为 0.72。在 74 对样本中,有 36 对的这 5 个选择完全相同。这已经足以让一项合成调查看起来很可靠。

但这个看起来可靠的群体会随着模型变化而变化。研究人员比较了不同规模的模型,并使用了一种名为 Jensen-Shannon divergence(Jensen-Shannon 散度)的距离度量。简单来说,它衡量的是两份概率清单相距多远。不同规模模型生成的清单存在显著差异,在对 Qwen 和 Mistral 模型的测试中也出现了同样的模式。

结果并不是一种平滑的渐进过程,即更大的模型只是把同一组偏好变得更加鲜明。一个模型会把概率分散到更多选择上;另一个则会将概率集中在更小的一组选择上。即使提示词和选项保持不变,模型的规模和系列也会改变哪些目的地排在最前面。论文将这一实际对象称为“特定于模型的合成群体”,而不是一个抽象的、单一的“LLM 先验”。

方法本身也很重要。这项实验要求模型以自由格式的 JSON 输出概率,然后对结果进行调整,因为原始数字经常加起来不等于 1。直接要求模型给出数字本身就是一种测量方法,而这些数字不一定与模型生成词语过程中隐藏的概率相匹配。

Refer to caption
Figure 1: Per-sample distributional signatures across three LLM sizes (Section [4](https://arxiv.org/html/#S4.SS0.SSS0.Px1 "Sample-size bootstrap protocol. ‣ 4 Experiments ‣ Evaluating LLM-Generated Preference Distributions") resampling protocol; the CI band for the number of sampled distributions equal to 2020 is by definition zero because there is only one sample equal to the full pool, so the informative part of each curve is the small-RR region). (a) Unique destinations: 8B (mean 71.6) is 1.58×\\times the 405B (45.2) and 2.45×\\times the 70B (29.3). (b) Maximum destination probability: 70B and 405B concentrate 0.171 and 0.174, respectively; 8B is more diffuse (0.090). (c) Std of probabilities: 70B and 405B at 0.038; 8B tighter (0.019). The three models occupy structurally different operating points, not refinements of one another: across the 20 personas no two share an identical 70B/405B top-5 (mean top-5 overlap 0.120.12) and even the single dominant destination differs in most cases (top-1 match 0.300.30; Table [3](https://arxiv.org/html/#S5.T3 "Table 3 ‣ 5.3 Distributional Discordance Across Scales and Families ‣ 5 Results ‣ Evaluating LLM-Generated Preference Distributions")), so the larger model re-weights *which* destinations dominate rather than sharpening the same modes.#### Cross-Family Validation. 出处: Evaluating LLM-Generated Preference Distributions(arXiv)
Refer to caption
Figure 8: Scale discordance matrix showing pairwise correlations between three LLM sizes (8B, 70B, 405B). Values near zero indicate minimal agreement, demonstrating that model scale does not induce smooth distributional refinement. Different models encode fundamentally different world priors.Figure [9](https://arxiv.org/html/#A8.F9 "Figure 9 ‣ Appendix H Model Size Comparison: Full Heatmaps ‣ Evaluating LLM-Generated Preference Distributions") compares persona-based probability distributions side by side across the three model sizes. 出处: Evaluating LLM-Generated Preference Distributions(arXiv)

谨慎的模拟应该是什么样

在城市规划部门,一份估计哪些人会使用新交通线路的报告,可以在客流量图表旁边标出确切的模型检查点。图表还应放在人类调查结果旁边,而不是把这些虚构居民的结果呈现为中立证据。

在零售商的规划会议上,分析师可以在订购库存前,用多个模型运行同一项需求模拟。更换模型应被视为假设发生变化,而不是例行的软件更新。这需要有基准数据来显示哪些模型能够追踪相关顾客。

这些防护措施很重要,因为这篇论文没有将生成的分布与真实的人类偏好数据进行比较。它的结论也仅限于可枚举的离散选择任务、开放权重模型和英语提示词。如果这一结果能够在人类数据中得到验证,模拟和决策支持系统就需要记录每个生成偏好分布背后的确切模型,为其建立版本,并对其进行测试。在此之前,反复得到一致答案只能表明模型具有可复现性,而不能说明它描述了真实的旅行者、食客或购物者。

来源

arXiv,《Evaluating LLM-Generated Preference Distributions》