arXiv
LLM 评分：一次调用得到七种测量结果
LLM 评分并不自动属于它所描述的文档：在分析开始前更换模型，就可能改变数据。作者让七个模型系列按照相同指令，为 1,946 份财报电话会文字记录评分，但它们给出的排名经常出现足以改变后续金融检验的分歧。如果跨供应商检查成为常规做法，研究人员就能在依赖某个评分之前，了解它是否经得住测量工具选择的变化。
一份文字记录看起来可以是一个固定对象：页面上的文字，任何人都能对它计数和研究。但当研究人员要求 LLM 把这份记录转换成一个关于情绪、风险或管理层表达清晰度的数字时，这个数字可能取决于模型由哪家公司制造。文档没有变化，数据却变了。
当文本变成测量结果
LLM 正日益被用作研究、金融、合规和公司分析的测量工具。研究人员不再搜索一份固定的词语清单，而是向模型提供一个书面定义——例如“政治风险”——要求它解读一份文档并返回一个评分。
这个评分就像温度读数一样，是一种测量结果。可靠性关注的是，当测量工具发生变化时，读数是否仍然相近。效度则提出了另一个问题：这个读数是否捕捉到了它声称要测量的事物。一个测量结果可能始终一致，却没有实际意义；也可能在原则上有意义，却不够一致。
这种区别很重要，因为研究人员可能悄悄选择一个模型，生成一列评分，然后把这列评分当成公司的属性。模型及其版本会成为结果的一部分，即使研究论文没有突出说明这一选择。
七个模型，一份文字记录
作者用 2024 年标普 500 公司发布的 1,946 份财报电话会文字记录检验了这个问题。七个模型系列使用完全相同的提示词、数值量表和温度 0，为同一份文本评分。它们没有使用外部工具、检索或额外脚手架。模型生成了 13 项测量结果，涵盖情绪、不确定性、气候风险、政治风险、具体性和企业文化等主题。
如果这些模型测量的是相同的潜在特征，那么各家公司通常应当保持相同的排序。但在这些测量结果中，两两排名相关系数的平均值为 0.52。排名相关系数可以用来判断两个列表是否把相同的项目放在接近顶部和底部的位置。这个结果意味着，模型之间确实存在一致性，但远未达到完全一致。
这种差异并非在所有地方都同样大。情绪的结果一致性强得多。基于规则的具体性比率则一致性弱得多。这个比率试图测量一段对话有多具体，但模型对词数的统计本身就成了问题的一部分。当研究人员用真实词数替换模型报告的词数后，一致性从 0.23 上升到 0.47。
这种分歧可能改变的不只是排名表。对于多项测量结果，仅仅更换 LLM，就改变了将这些评分与公告后收益联系起来的回归结果的大小、方向或统计显著性。一个模型通过标准检验得出的结果，换成另一个模型后可能就无法通过。
论文的图 1 比较了各供应商对高一致性和低一致性构念的评分，其中包括情绪、诚信和具体性比率。它还将 LLM 评分与传统的、非 LLM 基准进行比较。
更审慎的数据集
一种实际应对办法是使用多个模型并对它们的评分取平均。在这项研究中，七家供应商评分的平均值，在 13 项测量结果中有 10 项达到了研究人员设定的 0.80 相对可靠性基准。但只有 5 项达到了他们更严格的绝对可依赖性基准。取平均可以减少单个模型的特有偏差，却无法决定“政治风险”或“清晰度”应该意味着什么。
如果跨供应商检查变得负担得起并成为常规做法，一所大学的金融实验室就可以在运行主要分析之前打开一个数据集，查看模型特定的评分、集成评分和敏感性报告。一家公司或监管机构也可以在把 AI 生成的评估用作阈值之前，询问哪些模型达成了一致。
这一未来取决于研究人员注明模型及其版本，跨供应商检验结果，并将评分与人工编码或可以直接核查的基准进行比较。在此之前，一个源自 LLM 的变量并不是从文档中提取出的事实，而是由某个特定测量工具生成的测量结果。