arXiv

語音情緒辨識偏好適配模型，而不是更大的提示詞

2026年10月7日 08:30

任務專用的適配，可以讓語言模型更擅長判斷一段聲音聽起來是正面還是負面，而不必依賴使用更大提示詞的模型。一個研究團隊用 LoRA 適配了 LLaMA，在演出式口語對話上達到 71.818 的加權 F1 分數。如果這項結果在真實來電者身上也成立，客服代理程式就能分辨平淡說出的「fine」和帶著溫度說出的「fine」。

語音助理可以聽見「fine」這個詞，卻錯過它究竟是溫和、平淡、匆忙，還是緊繃地說出的。如今，系統通常會把情緒簡化成幾個標籤，而它們對說話者感到多麼亢奮或掌控局面的猜測尤其不可靠。這在理解一個人說了什麼，和理解他是怎麼說的之間，留下了一個基本的缺口。

情緒聲音的三個部分

這篇論文把情緒狀態分成三個面向。效價（valence）表示一種感受是正面還是負面。喚起（arousal）表示情緒被激發的程度，從平靜到興奮。支配度（dominance）表示說話者看起來擁有多少控制力或權力。

這些面向並不一樣容易判斷。人類標註者在評分效價時最一致，在評分喚起和支配度時則一致得少得多。這很重要，因為模型可能只要找出一句話的情緒方向，就顯得很準確，卻仍然無法理解聲音的其他部分。

這裡研究的系統沒有接收原始音訊。它接收的是截至目前的對話、被判斷句子的逐字稿，以及對音量、音高和語速等聲音特徵的文字描述。把聲音轉換成「高音」之類的詞組，仍保留了一些語調資訊，卻丟掉了音訊模型可以直接使用的大量細節。

適配勝過更大的提示詞

核心改變，是讓語言模型適配這項特定任務，而不只是依賴提示詞中的指令。研究人員使用了 LoRA；這是一種加入少量可訓練部分、同時讓原始模型大多維持不變的方法。它更像是在既有工具上加裝任務專用配件，而不是從頭重造工具。

測試使用了 IEMOCAP，一組演出式對話的集合。模型必須判斷離散情緒和三個連續面向。對離散任務而言，經 LoRA 適配的 LLaMA 達到 71.818 到 73.196 之間的加權 F1 分數。使用提示詞的 GPT 最佳結果是 59.600。在這項實驗中，適配模型的重要性高於單純要求一個更大的通用模型更好地遵循指令。

同樣的模式也出現在連續評分中，但只適用於部分問題。最強的適配模型得到 0.7822 的效價分數，表示它對正面或負面感受的估計，與人類評分大致相符。但它在喚起和支配度上的結果弱得多。事實上，一個使用音訊和文字的早期系統，在這些面向上的表現更好。

這種弱點不只是模型大小的問題。訓練材料是演出式語音，而當口音、錄音條件、文化或表達感受的方式改變時，情緒辨識系統可能會遇到困難。對喚起和支配度而言，人類評分本身也較不一致。把模型自己先前對情緒的估計加入對話歷史，反而讓適配模型的表現變差，而不是提供有用的情緒記憶。

Refer to caption — Figure 1: Overall PipelineThis work proposes an LLM-based framework for performing discrete ER and continuous VAD dimensional evaluation on utterances in multimodal dialogues. While those two tasks share the same input construction strategy, they are treated as independent tasks, each with its own prompt formulation, and in the case of the LoRA fine-tuning, its own separately trained model instance adapted to the corresponding annotation type. The framework takes three sources of information as input: the conversation history, the target utterance, and the audio feature descriptions. A discrete emotion label will be output for the discrete ER, while a set of VAD scores (the representation the emotional state along Valence, Arousal, and Dominance dimensions) will be output for the continuous emotion evaluation. 出處: Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue（arXiv）

更謹慎的語音介面

如果這項結果在演出式對話以外也成立，客服代理程式就能不再把平淡的「fine」和溫暖說出的「fine」視為相同。即使回應中的字詞看起來無害，只要聽起來是負面的，它也可以改變措辭，或提供轉接真人的選項。較小的適配模型可以讓這類語音介面更便宜，尤其是對那些擁有自身領域標註對話資料的團隊而言。

但這會是幅度有限的改善，而不是一般性的情緒智慧突破。在把這種系統交給真實來電者或病人使用之前，仍需要在真實人類身上進行測試，並設置防護措施，避免把嘈雜的情緒估計轉化為對某人意圖或身心狀況的判斷。它也需要更好的方法來測量喚起和支配度。因此，真正有用的未來不是一台知道某人感受如何的機器，而是一種不太容易把字詞誤當成完整訊息的語音介面。

來源

arXiv，《Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue》