LLM 評分讓一通電話產生七種測量結果

LLM 評分並不會自動成為它所描述之文件的屬性：模型一換，分析開始前的資料就可能改變。作者讓七個模型家族用相同指令，為 1,946 份財報電話會議逐字稿評分，但它們的排名經常出現足以改變後續財務檢驗的差異。如果跨供應商檢查成為例行工作，研究人員就能在依賴某個分數之前，確認它是否經得起測量工具的選擇。

一份逐字稿看起來可以是固定不變的物件：頁面上的文字，任何人都能計算和研究。但當研究人員要求 LLM 把逐字稿轉換成情緒、風險或管理層清晰度的數字時，這個數字可能取決於是哪家公司製造了模型。文件沒有改變，資料卻改變了。

當文字成為測量結果

LLM 越來越常被用作研究、金融、合規和公司分析的測量工具。研究人員不再搜尋固定的詞語清單，而是給模型一個書面定義——例如「政治風險」——要求它解讀文件並回傳分數。

這個分數是一種測量結果，就像溫度讀數一樣。可靠性問的是，當測量工具改變時，讀數是否仍然相近。效度問的是另一個問題：讀數是否捕捉到它聲稱要測量的事物。一項測量可以一致，卻沒有意義；也可以在原則上有意義，卻不一致。

這個區別很重要，因為研究人員可能悄悄選定一個模型，建立一欄分數，接著把這一欄當成公司的屬性。模型及其版本會成為結果的一部分，即使研究論文沒有明確凸顯這項選擇。

七個模型，一份逐字稿

作者以 2024 年來自 S&P 500 公司的 1,946 份財報電話會議逐字稿，測試了這個問題。七個模型家族用完全相同的提示、數值尺度和溫度 0，為相同的文字評分。它們沒有使用外部工具、檢索或額外的輔助架構。這些模型產生了 13 項測量，涵蓋情緒、不確定性、氣候風險、政治風險、具體程度和企業文化等主題。

如果這些模型測量的是相同的底層特質，公司大致上應該維持相同的順序。但在各項測量中，兩兩排名相關係數的平均值是 0.52。排名相關係數是一種用來詢問兩份清單是否把相同項目排在接近頂端和底端的方法。這個結果表示，模型之間確實有共識，但遠非完全一致。

差異並不是在所有地方都同樣大。情緒的共識強得多。基於規則的具體程度比率則弱得多。這個比率試圖測量一段對話有多具體，但模型計算的字數本身就是問題的一部分。當研究人員用實際字數取代模型計算的字數後，共識從 0.23 上升到 0.47。

這種不一致可能改變的不只是排名表。對幾項測量來說，只更換 LLM，就改變了把這些分數與公告後報酬連結起來的迴歸分析之大小、方向或統計顯著性。一項結果可能用某個模型通過標準檢驗，換成另一個模型卻無法通過。

論文的圖 1 比較了各供應商對高共識和低共識構念的評分，包括情緒、誠信和具體程度比率。圖中也比較了 LLM 分數與傳統的非 LLM 基準。

更謹慎的資料集

一個實際的應對方法，是使用多個模型並將它們的分數取平均。在這項研究中，七家供應商的平均分數，有 13 項測量中的 10 項達到研究人員設定的 0.80 相對可靠性基準。但只有 5 項達到他們更嚴格的絕對可依賴性基準。取平均可以減少個別模型的特有偏差；卻無法決定「政治風險」或「清晰度」應該代表什麼。

如果跨供應商檢查變得負擔得起，也成為例行工作，大學金融實驗室就可以在進行主要分析前，打開一份資料集，查看模型特定分數、集成分數和敏感度報告。公司或監管機構則可以在把 AI 產生的評估用作門檻之前，詢問哪些模型達成了一致。

這個未來取決於研究人員列出模型及版本、在不同供應商之間測試結果，以及將分數與人工編碼或可直接檢查的基準比較。在那之前，由 LLM 產生的變數並不是從文件中取出的事實，而是由某個特定測量工具完成的一項測量。

來源

arXiv，「Same Text, Different Numbers: The Divergence of LLM-Based Measures」