arXiv

LLMスコアは1つの通話を7つの測定値に変える

2026年10月1日 08:30

LLMスコアは、それが説明する文書の属性だと自動的にみなせるわけではない。モデルを変えると、分析を始める前のデータが変わることがある。著者らは、同じ指示で7つのモデルファミリーに1,946件の決算説明会の書き起こしを採点させたが、ランキングはしばしば、後の財務テストの結果を変えるほど食い違った。プロバイダーをまたいだチェックが一般的になれば、研究者はそのスコアが、測定器の選択を変えても維持されるかを確認してから利用できるようになる。

書き起こしは、固定された物体のように見えることがある。誰でも数え、研究できる、ページ上の言葉である。しかし研究者がLLMに、その書き起こしを感情、リスク、経営陣の明瞭さなどの数値に変えるよう求めると、その数値はどの企業がモデルを作ったかに左右されることがある。文書は変わっていない。データが変わったのである。

テキストが測定値になるとき

LLMは、研究、金融、コンプライアンス、企業分析のための測定器として、ますます使われている。研究者は、決められた単語のリストを検索する代わりに、「政治的リスク」のような文章による定義をモデルに与え、文書を解釈してスコアを返すよう求める。

そのスコアは、温度の読み取り値によく似た測定値である。信頼性が問うのは、測定器を変えても読み取り値が似たままかどうかである。妥当性が問うのは別の問題、つまり、その読み取り値が測定すると主張しているものを捉えているかどうかである。測定値は、意味がなくても一貫していることがあり、原理上は意味があっても一貫しないことがある。

この区別が重要なのは、研究者がひそかに1つのモデルを選び、スコアの列を作って、それを企業の属性として扱えるからである。研究論文でその選択が目立つ形で示されていなくても、モデルとそのバージョンは結果の一部になる。

7つのモデル、1つの書き起こし

著者らはこの問題を、2024年のS&P 500企業の決算説明会1,946件の書き起こしを使って検証した。7つのモデルファミリーが、同一のプロンプト、数値尺度、温度0で同じテキストを採点した。外部ツール、検索、追加の足場は使っていない。モデルは、感情、不確実性、気候リスク、政治的リスク、具体性、企業文化などを対象とする13の測定値を生成した。

モデルが同じ基礎的な性質を測定しているなら、企業の順位は概ね同じになるはずである。ところが、測定値全体で見たペアごとの平均順位相関は0.52だった。順位相関とは、2つのリストが同じ項目を上位と下位の近くに置いているかを問う方法である。この結果は、合意が存在するものの、完全には程遠いことを意味する。

違いは、どの項目でも同じ大きさだったわけではない。感情では合意がはるかに強かった。ルールベースの具体性比率では、合意がはるかに弱かった。この比率は会話がどれほど具体的かを測ろうとするものだが、モデルによる単語数のカウント自体が問題の一部だった。研究者がそのカウントを実際の単語数に置き換えると、合意は0.23から0.47に上昇した。

食い違いは、ランキング表だけを変える可能性にとどまらない。複数の測定値では、LLMだけを変えることで、スコアと発表時リターンを結びつける回帰の大きさ、方向、統計的有意性が変わった。あるモデルで標準的な検定を通過した結果が、別のモデルでは通過しないこともある。

論文のFigure 1は、合意が高い構成概念と低い構成概念について、プロバイダーごとのスコアを比較している。そこには、感情、誠実性、具体性比率が含まれる。また、LLMスコアと従来の非LLMベンチマークも比較している。

Refer to caption — Figure 1: Inter-provider score correlations: highest- and lowest-agreement constructs. Pairwise correlations between the seven LLM providers’ scores (upper triangle: Pearson; lower triangle: Spearman) for the two constructs with the highest mean pairwise correlation—sentiment and innovation—and the two with the lowest—integrity and the specificity ratio. The last row and column report the correlation of each LLM measure with the corresponding traditional, non-LLM benchmark for that construct. The colour scale is identical to the correlation heatmaps for all constructs reported in the Online Appendix (Appendix [A](https://arxiv.org/html/#A1 "Appendix A Correlation Heatmaps ‣ Same Text, Different Numbers: The Divergence of LLM-Based Measures")). 出典: Same Text, Different Numbers: The Divergence of LLM-Based Measures（arXiv）

より慎重なデータセット

実際的な対応の1つは、複数のモデルを使い、そのスコアを平均することである。この研究では、7プロバイダーの平均は、13の測定値のうち10で研究者らの相対的信頼性の基準0.80に達した。しかし、より厳しい絶対的信頼性の基準を満たしたのは5つだけだった。平均化によって個々のモデルの癖は抑えられるが、「政治的リスク」や「明瞭さ」が何を意味すべきかを決めることはできない。

プロバイダーをまたいだチェックが手頃な価格で日常的になれば、大学のファイナンス研究室はデータセットを開き、主な分析を実行する前に、モデル固有のスコア、アンサンブルスコア、感度分析の報告書を確認できるようになる。企業や規制当局は、AIが生成した評価を基準値として使う前に、どのモデルが一致したかを問えるようになる。

その未来には、研究者がモデルとバージョンを明記し、プロバイダーをまたいで結果を検証し、スコアを人手でコード化したベンチマークや直接確認できるベンチマークと比較することが必要である。それまでは、LLMから導かれた変数は文書から取り出した事実ではない。特定の測定器によって作られた測定値である。

Sources

arXiv, “Same Text, Different Numbers: The Divergence of LLM-Based Measures”