arXiv
文化本地化发现：国家标签会抹平社会建议
国家标签可以让人工智能听起来像本地系统，但它给出的社会建议实际上可能只是乏味的全球平均值。作者将四种语言模型与人类对跨越不同社会的150个日常情境的评分进行了比较。在圣保罗一家诊所的候诊室里，如果模型接受具有代表性的本地证据检验，数字接待员就能根据当地人的判断调整建议。
助手通常能判断某个行为大体上是否可以接受。但它无法可靠地解释，这种判断如何因社会不同而变化。聊天机器人可能会得到一个国家名称，却仍然给出听起来像本地建议的回答，只因为它把许多不同的观点平滑成了一个安全的平均值。对于询问眼神交流、交谈距离或其他普通互动的人来说，这个平均值可能既让人安心，又是错误的。
文化建议取决于什么
日常规范并不是固定不变的规则。同一个行为在一种情境下可以接受，在另一种情境下却可能不合适。然而，大语言模型是从文本中学习模式的，而不是直接观察具有代表性的人群如何判断行为。翻译可以改变回答，却不能保证回答符合使用这种语言的人。说出一个国家的名字，可能制造出掌握本地知识的假象，同时让模型继续依赖宽泛或刻板的联想。
为了衡量这一差距，作者将四种语言模型与人类对90个社会中的150个日常情境的评分进行了比较。人类基准来自25,422名受访者，他们在2023年7月至2024年5月之间接受了调查。这些是便利样本，并不具有全国代表性，因此这一基准并不能完美描绘任何一个社会。尽管如此，它仍然让人们能够提出一个比“模型是否总体上理解礼仪”更精确的问题：它能否再现不同社会之间的差异？
国家标签并不够用
答案通常是否定的。这四种模型认为各个社会之间的相似程度，远高于调查数据所显示的程度。它们估计的社会间差异，不到人类评分所测得差异的一半；即使模型被直接告知要考虑哪个社会，结果也是如此。
模型也难以匹配当地回答的模式。它们在情境层面的平均跨文化相关性，与调查评分之间的相关系数为0.23至0.33。根据模型不同，有49%至66%的情境相关系数低于0.30。这里的相关性，是衡量两组回答是否共同升降的指标：数值较低，意味着模型经常没能判断出哪些社会认为某种行为更容易或更不容易接受。
这种困难并非在所有情境中都一样。与谈话或阅读报纸等普通行为相比，模型在区分不同社会对亲吻和调情的看法时相对更好。这一点很重要，因为文化适应不只是戏剧性强或明显敏感的话题。它同样涉及一个系统每天可能评论的各种小动作。
用当地调查所使用的语言提示模型，准确率有所小幅提高，但并没有消除文化差异被压缩的问题。当没有指定任何社会时，在四个模型中，有三个模型的未指定社会画像最接近其美国画像，第四个模型则是第二接近美国画像。因此，听起来中立的回答不一定是面向全世界的回答。它往往偏向某一个社会，却掩盖了这一点。
经过本地测试的人工智能会是什么样
如果这一结果成立，那么在圣保罗一家诊所候诊室里的数字接待员就不只是切换语言。它还可以根据当地人的判断，就眼神交流、交谈距离和可接受的行为给出建议，因为这些判断曾被用来测试系统，而不是被一个国家标签取代。
这样的未来需要具有代表性的本地数据，也需要能够再现社会间差异、而不是把它们抹平的模型。这也为开发者检验“文化敏感性”的说法提供了更清晰的标准：关键不在于模型是否用葡萄牙语回答，或是否提到巴西，而在于它的建议是否遵循了服务对象在行为层面的证据。
在那之前，任何跨越国界提供建议、教学、内容审核或社会互动的系统，在判断日常规范时都需要经过人类和本地验证。一个国家名称和一条翻译后的提示语，都不能证明社会建议在当地是可靠的。