2026年10月19日
Technology Watch

從實驗室到產業,追蹤新技術的路徑

← 回首頁

arXiv

穩定的合成族群會隨模型改變

AI 繪製的示意圖

語言模型可以生成穩定的合成族群,卻未必能可靠地呈現真實人類。作者測試了九個開放權重模型,請它們針對旅遊目的地、餐廳和產品分配偏好,每個要求最多重複 20 次。如果這類模擬經人類資料驗證,城市規劃辦公室就能在客流量預測旁列出確切的模型檢查點。

語言模型可以被要求代替問卷受訪者、購物者或旅客。一次又一次地問它同一個問題,它可能會列出一份看似整齊的清單,說明某個族群據稱偏好什麼。這種表面上的穩定性很有用——但也可能掩蓋一個基本問題:這份清單描述的可能是模型,而不是那些人。

可重複的回答不等於測得的意見

偏好分布只是一組附有數字的選擇。例如,一個系統可能會為 300 個可能的航空旅行目的地、餐廳或家居與廚房產品分配機率。這些數字看起來像問卷結果,但模型並沒有測量任何人的選擇。它是根據訓練期間以及後續調校中形成的模式,產生了人們表達出的機率。

這造成了可重現性與準確度之間的差異。可重現性表示每次都得到相似的答案。準確度,也就是校準,表示這些答案與現實相符。模型可以具備前者,卻不具備後者。在沒有問卷、行為紀錄或實驗可用時,合成族群仍然可能有用,但它們也可能帶入訓練資料中的模式,而不是呈現正在被模擬的群體。

因此,更換模型並不像安裝一般的軟體更新。模型在訓練資料、微調和其他訓練後方法上可能有所不同。更大的模型不會自動成為同一個模擬族群的較新版本。

模型移動時,族群也會移動

作者評估了來自 Llama、Qwen 和 Mistral 系列的九個開放權重模型。他們在相同設定下,要求每個模型針對三組選擇給出明確的機率分布,並將要求重複最多 20 次。

在同一個模型內,答案往往會形成可辨識的形狀。在重複抽樣中,最可能的五個選擇之間的平均重疊度為 0.72。在 74 對樣本中的 36 對裡,這五個選擇完全相同。這已足以讓合成問卷看起來值得信賴。

但這個看似值得信賴的族群會在模型改變時改變。研究人員比較了不同大小的模型,並使用一種稱為 Jensen-Shannon 散度的距離測量。用白話說,它是在問兩份機率清單相差多遠。不同大小模型產生的清單有顯著差異,在對 Qwen 和 Mistral 模型的測試中也出現了相同模式。

結果並不是一種平滑的進展,並非更大的模型只是讓同一組偏好變得更鮮明。一個模型把機率分散到更多選擇上;另一個則把機率集中在較小的群組上。即使提示和選項維持不變,模型的大小和系列也會改變哪些目的地躍居前列。論文將這個實際上的對象稱為模型特定的合成族群,而不是單一、抽象的「LLM 先驗」。

方法本身也很重要。實驗要求模型以自由格式的 JSON 輸出機率,之後再調整結果,因為原始數字的總和往往不等於一。直接要求數字本身就是一種測量方法,而這些數字不必與模型文字生成過程中隱含的機率相符。

Refer to caption
Figure 1: Per-sample distributional signatures across three LLM sizes (Section [4](https://arxiv.org/html/#S4.SS0.SSS0.Px1 "Sample-size bootstrap protocol. ‣ 4 Experiments ‣ Evaluating LLM-Generated Preference Distributions") resampling protocol; the CI band for the number of sampled distributions equal to 2020 is by definition zero because there is only one sample equal to the full pool, so the informative part of each curve is the small-RR region). (a) Unique destinations: 8B (mean 71.6) is 1.58×\\times the 405B (45.2) and 2.45×\\times the 70B (29.3). (b) Maximum destination probability: 70B and 405B concentrate 0.171 and 0.174, respectively; 8B is more diffuse (0.090). (c) Std of probabilities: 70B and 405B at 0.038; 8B tighter (0.019). The three models occupy structurally different operating points, not refinements of one another: across the 20 personas no two share an identical 70B/405B top-5 (mean top-5 overlap 0.120.12) and even the single dominant destination differs in most cases (top-1 match 0.300.30; Table [3](https://arxiv.org/html/#S5.T3 "Table 3 ‣ 5.3 Distributional Discordance Across Scales and Families ‣ 5 Results ‣ Evaluating LLM-Generated Preference Distributions")), so the larger model re-weights *which* destinations dominate rather than sharpening the same modes.#### Cross-Family Validation. 出處: Evaluating LLM-Generated Preference Distributions(arXiv)
Refer to caption
Figure 8: Scale discordance matrix showing pairwise correlations between three LLM sizes (8B, 70B, 405B). Values near zero indicate minimal agreement, demonstrating that model scale does not induce smooth distributional refinement. Different models encode fundamentally different world priors.Figure [9](https://arxiv.org/html/#A8.F9 "Figure 9 ‣ Appendix H Model Size Comparison: Full Heatmaps ‣ Evaluating LLM-Generated Preference Distributions") compares persona-based probability distributions side by side across the three model sizes. 出處: Evaluating LLM-Generated Preference Distributions(arXiv)

謹慎的模擬會是什麼樣子

在城市規劃辦公室,一份估算誰會使用新大眾運輸路線的報告,可以在客流量圖表旁列出確切的模型檢查點。這張圖表也會放在人類問卷結果旁,而不是被呈現成來自想像居民的中立證據。

在零售商的規劃會議上,分析師可以在訂購庫存前,使用數個模型執行相同的需求模擬。更換模型會被視為假設的改變,而不是例行的軟體更新。這需要有基準資料,顯示哪些模型能追蹤相關客群。

這些防護措施很重要,因為這篇論文沒有將生成的分布與真實人類偏好資料比較。它的結論也僅限於可枚舉的離散選擇任務、開放權重模型和英文提示。如果這項結果在與人類資料比較時仍然成立,模擬和決策支援系統就需要記錄、建立版本,並測試每一份生成偏好分布背後的確切模型。在那之前,重複達成一致只能顯示模型具有可重現性——不能證明它描述了真實的旅客、用餐者或購物者。

來源

arXiv,「Evaluating LLM-Generated Preference Distributions」