arXiv
文化差異保留捕捉合成調查將國家差異夷平
合成調查不應只看它是否符合每個國家的情況，也要看它是否保留了國家之間的差異。研究人員測試了四個開放權重模型，發現一種一般準確度很高的提示方法，CDP 值卻低至 14%，這意味著人類資料中的大量差異已經消失。在公共衛生辦公室裡，如果維持可比的人類基準資料和對方向敏感的檢查，這項警訊可能會在分配外展經費前，促使人員針對特定群體進行人類訪談。
合成調查可以讓每個國家的答案看起來都接近人類調查結果，卻仍然弄錯重點。各國可能顯得過於相似，彷彿國家差異已被抹平；也可能比真實人口看起來更加刻板。只相信逐國準確度分數的研究人員，可能會把模型整齊的平均值誤當成民意，並用它來進行跨國比較。
合成調查遺漏了什麼
合成受訪者之所以吸引人，是因為它們可以在不招募和支付人類參與者的情況下，產生大量類似調查的樣本。研究人員可以要求模型以一個虛構人物的身分回答，或只是以某個指定國家的人身分回答。這稱為人物提示（persona prompting）。
一種常見的檢查方法，是使用詹森–香農散度（Jensen-Shannon divergence，或 JSD）比較兩個回答分布。它衡量兩組答案有多麼不同。但模型的答案與每個國家的人類答案之間的 JSD 偏低，聽起來雖然令人放心，卻沒有詢問各國彼此之間的差異是否仍維持在適當程度。
這些差異可能反映文化，也可能反映翻譯、調查進行的時間、人們通常如何使用回答量表，以及抽樣對象。這使得人類資料成為不完美的參考，而不是一幅簡單的國民性格圖像。圖 1 說明了為何應該檢查國家之間的關係，而不只是各自的分數。
衡量缺失距離的分數
研究人員提出了「文化差異保留」（Cultural Divergence Preservation，或 CDP）。它比較模型在各國的回答分布之間的距離，以及同一調查領域中相應人類回答分布之間的距離。
結果是一個比率。CDP 為 100%，表示模型保留了人類資料中跨國差異的程度。低於 100% 表示模型把這項差異夷平；高於 100% 表示模型放大了差異。這讓研究人員可以把夷平或誇大的程度，與每個國家分布本身的誤差分開衡量。
這項審查測試了四個開放權重模型、三種人物提示方式，以及兩個調查領域：世界價值觀調查的題目和五大人格測驗。對每個國家、人物方法和調查模型，研究使用了 300 名模擬受訪者。一種稱為 DeepPersona-Inspired 的提示風格，按照一般距離指標衡量時經常看起來最好。但它在每個區塊中也都造成最嚴重的夷平，CDP 值介於 14% 到 59% 之間。
相反的問題出現在 Country-only Cultural Prompting。它在全部八個區塊中都呈現過度差異化，CDP 值介於 184% 到 501% 之間。因此，單獨使用國家標籤，可能會讓模擬人口看起來比它們原本要代表的人類人口更加不同。
這項檢查可能帶來的改變
在一間比較各國疫苗態度的公共衛生辦公室裡，分析人員可能發現，合成試驗已在用來分配外展經費之前，把差異夷平了。接著，該辦公室可以委託進行針對特定群體的人類訪談，而不是把模型平滑的平均值當成民意地圖。這會讓調查不足的國家有機會挑戰那些把它們描繪成一個沒有差異的全球人口的資料集。
這樣的未來取決於維持可比的人類調查基準。當國家、問題或回答量表改變時，CDP 必須重新校準。它也不會檢查某個國家的模擬偏離是否與其人類對應值指向相同方向：模型可能保留了整體差異的程度，卻把差異分配給錯誤的國家。作者也表示，DeepPersona-Inspired 提示法所呈現的夷平現象，部分可能來自其固定且不以國家為條件的人物分類法，而不是模型本身固有的特性。