arXiv
人格提示滲入色彩選擇
人格提示可以讓語言模型模仿某個角色,卻無法讓研究人員只控制其中一項特質。作者檢視了八個可透過 API 存取的模型,發現具有冒險傾向的人格也會改變提示中未提及的偏好,包括色彩選擇。如果模型能可靠地保留中立偏好,購物應用程式就能針對某一項明確說出的品味進行個人化,而不會悄悄把它擴展成一整套生活方式。
如今,幾行人格文字就能讓語言模型聽起來像另一種人。當有人想要一名合成問卷受訪者或模擬客戶時,這很有用。但當目標是一次測試一項特質時,這就造成了問題。告訴模型某位使用者喜歡冒險,模型也可能改變對提示從未提及的品味所給出的答案。用這種方式建立的問卷,無法判斷是哪項特質造成了某個答案。
為什麼人格不是受控的使用者
人格提示,是要求語言模型以某種受到描述的人來回答。模型從訓練資料中學會了特質、身分、偏好與說話方式之間的關聯。因此,它可能不把人格描述讀成一項小指令,而是把它當成關於整個人的線索。
這種差異在因果實驗中很重要。這類實驗需要一種介入,只改變正在研究的變數,同時讓其他相關變數保持不變。如果一個提示同時改變了風險承受度和色彩偏好,色彩就可能成為混淆變數。一個看似由風險承受度造成的結果,實際上可能來自模型對使用者更廣泛的推測。
檢查模型是否遵守明確偏好很容易。檢查它是否讓無關偏好維持不變,則更困難。論文將另一項屬性出現的不必要變動稱為「跨屬性影響」。
中立性落差
作者把這個問題轉化成一項測試。一個有用的人格操弄,應該改變其目標屬性,同時保留一項已宣告的非目標屬性。他們檢視了八個可透過 API 存取的語言模型,以及五個開放權重檢查點。
在 API 模型中,具有冒險傾向的人格改變了非目標的風格偏好,包括提示中沒有出現的色彩選擇。開放權重模型揭示了更尖銳的問題。當非目標屬性被明確給出一個方向時,模型通常會遵循該方向,並降低目標屬性的影響。但當同一項屬性被宣告為中立——既不是一種選擇,也不是另一種選擇——時,目標屬性仍然會影響模型的選擇。
對於中立宣告,51–81% 的獨立項目仍對目標屬性保持敏感。沒有任何非目標宣告時,這個數字是 67–93%。模型通常會說自己正確理解了中立狀態已被宣告。然而,它們的選擇仍會隨著目標屬性而變化。換句話說,模型可以準確回報指令,卻未能表現得像是讓無關偏好維持中立。
論文把方向性宣告與中立宣告之間的這項差異稱為「中立性落差」。它的解釋是,模型把人格提示當成關於使用者的證據,接著用通常與目標特質相關的偏好補全這份使用者檔案。作者把這稱為「特質條件式補全」。沒有任何經過測試的提示設計能可靠地阻止這種情況。

選擇性控制會是什麼樣子
論文的診斷方法把單純的人格遵循與選擇性控制區分開來。模型不應只是聽起來像所要求的角色。它應該改變預期的特質,並讓非目標特質維持穩定,包括在該特質被明確宣告為中立時。所有五個經過測試的開放權重檢查點,都未達到論文對於在保留測試資料之外的結構化世界中,維持已宣告中立的非目標屬性所設定的容許標準。
作者也在模型的表徵——用來編碼資訊的內部模式——中測試了一種建構式介入。在七點讀出結果中,它移除了非目標變動的 0.56–0.86,同時保留目標回應的 0.86–0.99。這表示不想要的溢出效應可以和預期效果分離,但經過測試的提示設計目前還無法單靠自身做到這一點。
如果這種控制能在生產規模下成立,購物應用程式就能把「我喜歡承擔財務風險」視為一項偏好,而不是通往一整套生活方式的捷徑。客戶不會只因為系統推斷那些色彩與冒險行為相配,就突然收到霓虹色、高對比的推薦。在這種情境可靠之前,合成使用者研究需要先證明非目標特質能維持穩定,才能把提示編輯視為因果介入。這篇預印本的日期是 28 September 2026,其黑箱稽核涵蓋一組屬性配對;其中立宣告與內部分析則使用開放權重模型。
來源
來源文件:「Persona Following Is Not Selective Control: The Neutrality Gap in LLM User Simulation」