arXiv
文化差异保留捕捉到合成调查对国家差异的抹平
合成调查不应只根据它是否匹配每个国家来评判，还应看它是否保留了国家之间的差异。研究人员测试了四个开放权重模型，发现一种普通准确率很高的提示方法，CDP 值却低至 14%，这意味着大量人类数据中的差异已经消失。在公共卫生部门，如果同时保留可比的人类基线和对方向敏感的检查，这一警告可能会在分配外展经费之前，促使工作人员开展有针对性的人类访谈。
合成调查可以让每个国家的答案看起来都接近人类结果，却仍然弄错总体情况。各国可能看起来过于相似，仿佛国家差异已被抹平。或者，它们也可能比真实人口显得更加刻板。只相信逐国准确率的研究人员，可能会把模型整齐的平均值误认为民意，并用它来进行跨国比较。
合成调查遗漏了什么
合成受访者之所以有吸引力，是因为它们无需招募和付费雇用人类参与者，就能生成大规模、类似调查的样本。研究人员可以要求模型以一个虚构人物的身份回答，也可以只要求它以某个指定国家的人来回答。这叫作角色提示。
一种常见的检查方法是使用詹森–香农散度（JSD）比较两个答案分布。它衡量两组答案有多大不同。模型答案与每个国家的人类答案之间较低的 JSD，听起来令人放心。但它并没有询问各国之间是否仍然以正确的程度存在差异。
这些差异可能反映文化，也可能反映翻译、调查开展的时间、人们使用答案量表的习惯，以及被抽样的人群。这使得人类数据成为一种不完美的参照，而不是一幅简单的国家性格图景。图 1 说明了为什么需要检查各国之间的关系，而不只是分别查看它们的得分。
衡量缺失距离的分数
研究人员提出了文化差异保留（Cultural Divergence Preservation，CDP）指标。它比较模型生成的各国响应分布之间的距离，以及同一调查领域中相应人类分布之间的距离。
结果是一个比值。CDP 为 100% 意味着模型保留了人类数据中跨国差异的程度。低于 100% 意味着模型抹平了这种差异。高于 100% 意味着模型放大了这种差异。这样，研究人员就能把抹平或夸大与每个国家分布本身的误差区分开来进行测量。
这项审计测试了四个开放权重模型、三种角色提示方式，以及两个调查领域：世界价值观调查中的题目和大五人格测试。对于每个国家、角色方法和调查模型，它都使用了 300 名模拟受访者。一种名为 DeepPersona-Inspired 的提示风格，按照普通距离指标来看通常表现最好。但它在每个区块中都产生了最严重的抹平，其 CDP 值为 14% 到 59%。
Country-only Cultural Prompting 则出现了相反的问题。它在全部八个区块中都表现出过度差异化，CDP 值为 184% 到 501%。因此，仅仅一个国家标签，就可能让模拟人口看起来比它们原本要代表的人类人口更加不同。
这项检查可能带来的改变
在一个比较各国疫苗态度的公共卫生部门，分析师可能会发现，一项合成试点已经抹平了差异，然后再据此分配外展经费。该部门随后可以委托开展有针对性的人类访谈，而不是把模型平滑的平均值当作民意地图。这样一来，调查不足国家中的群体就有了质疑那些把他们描绘成一个毫无差别的全球人口的数据集的途径。
这一未来取决于保留可比的人类调查基线。当国家、问题或答案量表发生变化时，CDP 必须重新校准。它也不会检查某个国家的模拟偏差是否与其人类对应数据指向相同方向：模型可能保留了总体差异的程度，却把差异分配给了错误的国家。作者还表示，DeepPersona-Inspired 提示所造成的抹平，部分可能来自其固定的、与国家无关的角色分类体系，而不是模型本身固有的属性。