arXiv
调查模拟抓住了模式，而不是人
开放权重语言模型开始能够复现调查人群中的关系，尽管它们在预测某一个人方面仍然很弱。研究人员让三个模型系列对 15 份调查工具中的 2,058 名人类受访者进行对照测试，发现它们在许多跨调查相关性的形状上高度一致。在大学调查实验室里，这可能让本地运行的模型成为问卷的第一轮筛选工具，前提是每次模型发布都经过独立校准。
如今，调查仍然需要人。研究人员必须招募并支付受访者，然后等待答案，才能了解态度和特征如何在人群中共同变化。语言模型可以低成本地填写问卷，但未经条件设定的模型往往只会给出一小范围的、符合社会规范的答案。它听起来像一个人，却无法表现人与人之间的差异。
有用的合成人群必须保留什么
重要的问题不是模型能否给出一个令人信服的答案，而是许多模拟答案能否保留真实人群中的相同关系。例如，如果两项人类调查测量通常会一起上升，那么有用的模拟就应该保留这种模式。它也应该保留两项测量朝相反方向变化的情况。
这不同于预测某个人的答案。模型可能不擅长猜测某个特定的人会说什么，却仍然能够复现数千人之间的广泛关系。反过来也可能成立：模型或许能匹配平均答案，却丢失让调查数据有用的差异。
研究人员在不同问卷之间进行了测试，而不是要求模型重复生成其人格设定所依据的那份调查。他们使用了一个由 2,058 人组成的全国性面板，以及 15 种心理测量工具，即用于测量特征或态度的结构化测试。对于每项测试，模型会收到一个人的某一项工具的完整原始答案，这些答案被称为种子，然后完成另一项工具。研究人员比较的是：这些模拟答案形成的模式，与人类答案形成的模式之间有多大差异。
从合理的答案到人群模式
三个开放权重模型系列复现了这些人类模式中的很大一部分。在 139 个有序的工具组合中，模拟相关性与人类相关性之间的相关系数，gemma4:31b 达到 0.703，llama3.1:70b 达到 0.731，qwen3.8:27b 达到 0.701。在大多数组合中，模型也判断对了方向：这种关系是正相关还是负相关。
这就是有用的变化。研究人员没有把整个人群展示给模型，再要求它复制人群的摘要数据。模型利用一个人对一项调查的答案，生成这个人对另一项调查的答案，然后对许多人重复这一过程。结果表明，开放权重模型可以充当一种部分校准的人群模拟器，而不只是生成看似合理的个人回答的机器。
但“部分”这个词很重要。模拟对象在一项未提供给模型的测量上的得分，与同一个人的真实得分之间的一致性，在三个模型中最强的一个也只有 0.210。模型在保留人与人之间关系的形状方面，远比识别某一个人更擅长。
因此，校准才是稀缺能力。一个未经条件设定的 llama3.1:70b 人格给出的答案，变化幅度小于人类。向它提供大五人格测试的信息后，它的回答变化幅度更接近人类水平。提高模型的采样温度——这是一个原本旨在让答案更加多样的设置——反而在每个接受测试的案例中都增加了校准误差。
这种行为并不是固定的。在一项规模更小的对比中，更新版本的 Llama 表现最差。在另一项测试中，调换两份问卷的先后顺序改变了模拟相关性。这些结果削弱了这样一种看法：一个表达流畅的合成受访者，自动就能证明合成人群是有效的。
更便宜的调查研究第一轮筛选
如果这些发现经受住与更简单的统计方法以及更大规模独立面板的比较，大学调查实验室就可以利用去标识化的历史回答，在自己的电脑上运行多个开放权重模型。研究人员可以在让人们花时间完成每一份被淘汰的试点问卷之前，先测试拟议问题之间的哪些联系看起来稳定。各组织也可以把敏感的研究提示词保留在自己的基础设施中，而不是发送给供应商的 API。
这一未来取决于持续检查。研究人员需要针对确切的模型版本进行校准，并使用不止一个种子测量。当效应的大小重要，而不只是方向朝上还是朝下时，人类数据仍然不可或缺。作者还报告称，他们没有使用非 LLM 基线；他们表示，共享受访者和重复使用的工具意味着，这些结果是描述性的，不适合用于假设数据相互独立的显著性检验。一项小规模的行为任务扩展也仍处于初步阶段。
所以，可能被替代的并不是一屋子合成人。它更可能成为一种更便宜的人群层面想法的第一轮筛选工具——前提是每个新模型都经过测试，而不是人们直接相信它生成的模式。