arXiv
問卷模擬抓得到模式，卻抓不住人
開放權重語言模型開始能重現問卷樣本中的關聯，即使它們在預測任何單一個體方面仍然不強。研究人員讓三個模型家族對 15 份問卷中的 2,058 名人類受訪者進行測試，發現它們在許多跨問卷相關性的形狀上有很高的一致性。在大學問卷研究室裡，這可能讓本地執行的模型成為問卷的第一道篩選工具，前提是每個模型版本都要獨立校準。
如今，問卷仍然需要人。研究人員必須招募並支付受訪者，然後等待回答，才能了解一個群體中的態度和特質如何共同變化。語言模型可以低成本地填寫問卷，但未經條件設定的模型往往只會給出一小部分符合社會期待的答案。它可以說得像一個人，卻無法呈現人與人之間的差異。
有用的合成群體必須保留什麼
重要的問題不是模型能否產生一個可信的答案，而是大量模擬回答是否保留了真實人群中的相同關係。比如說，如果人類受訪者的兩項測量結果通常會一起上升，那麼有用的模擬就應該保留這種模式。當兩項測量結果朝相反方向變化時，模擬也應該保留這一點。
這和預測某一個人的答案不同。模型可能不擅長猜測特定的人會說什麼，卻仍然能重現數千人之間的廣泛關係。反過來也可能成立：它或許能符合平均答案，卻失去讓問卷資料有用的變異。
研究人員在不同問卷之間進行測試，而不是要求模型重複填寫建立其人物設定的那份問卷。他們使用了一個由 2,058 人組成的全國性樣本，以及 15 份心理測量工具，也就是用來測量特質或態度的結構化測驗。對每份測驗，模型會收到某一個人的一份測量工具的完整答案，這稱為種子，接著完成另一份測量工具。研究人員比較的是：這些模擬答案形成的模式，與人類答案形成的模式是否一致。
從合理的答案到群體模式
三個開放權重模型家族重現了這些人類模式中相當重要的一部分。在 139 組有順序的測量工具配對中，模擬相關性與人類相關性之間的相關，在 gemma4:31b 達到 0.703、在 llama3.1:70b 達到 0.731、在 qwen3.8:27b 達到 0.701。在大多數配對中，模型也判斷對了方向：也就是關係是正向還是負向。
這就是其中的實用變化。研究人員並沒有把整個群體展示給模型，再要求它複製群體的摘要。模型是利用一個人的一份問卷答案，生成他在另一份問卷中的答案，然後對許多人重複這個過程。結果顯示，開放權重模型可以成為一種部分校準的群體模擬器，而不只是撰寫看似合理的個人回答的機器。
但「部分」這個詞很重要。模擬個體的保留測量分數與同一個人的真實分數之間，一致性最高的三個模型也只有 0.210。模型在保留人與人之間關係的形狀方面，遠比辨認任何單一個體更出色。
因此，校準才是稀缺的能力。未經條件設定的 llama3.1:70b 人物設定，給出的答案變異比人類小。向它提供五大人格測驗的資訊後，它的回答變異便更接近人類水準。提高模型的取樣溫度——這項設定原本是為了讓答案更多樣——反而在所有測試案例中都增加了校準誤差。
這種行為並不固定。在一項規模較小的比較中，較新的 Llama 版本表現最差。在另一項測試裡，調換哪一份問卷先出現，便改變了模擬相關性。這些結果削弱了一種看法：流暢的合成受訪者自動就是有效合成群體的證據。
更便宜的問卷研究第一輪篩選
如果這些發現經得起與更簡單統計方法及更大型獨立樣本的比較，大學問卷研究室就可以在自己的電腦上執行數個開放權重模型，使用去識別化的過往回答。在要求人們花時間完成每一份被淘汰的試行問卷之前，研究室可以先測試擬議問題之間的哪些關聯看起來穩定。組織也可以把敏感的研究提示留在自己的基礎設施上，而不是傳送給供應商的 API。
這個未來取決於持續檢查。研究人員需要校準確切的模型版本，並使用不只一項種子測量。當效果的大小——而不只是它朝上還是朝下——很重要時，人類資料仍然不可或缺。作者也表示沒有非 LLM 基準，並指出，共同受訪者和重複使用的測量工具，讓他們的結果只能作為描述，不能用於假設資料彼此獨立的顯著性檢定。一項小規模的行為任務延伸測試也仍屬初步研究。
所以，最可能的替代方案不是塞滿合成人的房間，而是為群體層級的想法提供更便宜的第一道篩選——前提是每個新模型都要先經過測試，才能有人相信它呈現的模式。