arXiv

语音情绪识别更青睐适配模型，而非更长提示词

2026年10月7日 08:30

针对特定任务进行适配，可以让语言模型更擅长判断一个声音听起来是积极还是消极，而不必依赖使用更大提示词的模型。一个研究团队用 LoRA 对 LLaMA 进行了适配，在情景演绎的语音对话上取得了 71.818 的加权 F1 分数。如果这一结果也适用于真实来电者，客服代理就能分辨平淡说出的“fine”和语气温暖地说出的“fine”。

语音助手能听见“fine”这个词，却可能听不出它说得温暖、平淡、急促还是紧张。如今，系统通常会把情绪压缩成几个标签，而它们对说话者感到多么激动、或者有多强的掌控感所作的判断，尤其不可靠。这就造成了一个基本的鸿沟：理解一个人说了什么，和理解他说话的方式，并不是一回事。

情绪化语音的三个部分

这篇论文把情绪状态分成三个维度。效价（valence）表示一种感受是积极还是消极。唤醒度（arousal）表示情绪有多激活，从平静到兴奋。支配度（dominance）表示说话者看起来拥有多少控制力或权力。

这些维度并不一样容易判断。人类标注者在评定效价时的一致性最高，而在评定唤醒度和支配度时的一致性低得多。这一点很重要，因为模型可能通过找出一句话的情绪方向来显得准确，却仍然没能理解语音的其他部分。

这里研究的系统没有接收原始音频。它接收了截至当前的对话、待判断句子的转写文本，以及对音量、音高和语速等声音特征的文字描述。把声音转换成“高音高”这样的短语，确实保留了一部分语气信息，但也丢弃了音频模型可以直接利用的大量细节。

适配胜过更大的提示词

核心变化是，让语言模型适配这一具体任务，而不是只依赖提示词中的指令。研究人员使用了 LoRA。这种方法会加入一小组可训练部分，同时保持原始模型的大部分内容不变。它更像是给现有工具加上一个针对特定任务的附件，而不是从头重造这件工具。

测试使用了 IEMOCAP，这是一个情景演绎对话集合。模型既要判断离散情绪，也要判断三个连续维度。在离散任务中，经过 LoRA 适配的 LLaMA 取得了 71.818 到 73.196 之间的加权 F1 分数。使用提示词的 GPT 取得的最佳结果为 59.600。在这项实验中，适配模型比单纯要求一个更大的通用模型更好地遵循指令更重要。

在连续评分中也出现了相同的模式，但只适用于部分问题。最强的适配模型取得了 0.7822 的效价分数，这意味着它对积极或消极感受的估计与人类评分相当吻合。它在唤醒度和支配度上的结果则弱得多。事实上，一个较早使用音频和文本的系统在这两个维度上的表现更好。

这种弱点不只是模型规模的问题。训练材料是情景演绎的语音，而当口音、录音条件、文化或表达感受的方式发生变化时，情绪识别系统可能会难以应对。人类评分本身在唤醒度和支配度上的意见也更不一致。把模型自己先前作出的情绪估计加入对话历史，反而让适配模型表现更差，而不是让它们获得有用的情绪记忆。

Refer to caption — Figure 1: Overall PipelineThis work proposes an LLM-based framework for performing discrete ER and continuous VAD dimensional evaluation on utterances in multimodal dialogues. While those two tasks share the same input construction strategy, they are treated as independent tasks, each with its own prompt formulation, and in the case of the LoRA fine-tuning, its own separately trained model instance adapted to the corresponding annotation type. The framework takes three sources of information as input: the conversation history, the target utterance, and the audio feature descriptions. A discrete emotion label will be output for the discrete ER, while a set of VAD scores (the representation the emotional state along Valence, Arousal, and Dominance dimensions) will be output for the continuous emotion evaluation. 出处: Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue（arXiv）

更谨慎的语音接口

如果这一结果能在情景演绎对话之外成立，客服代理就可以不再把平淡说出的“fine”和语气温暖地说出的“fine”视为完全相同。即使回复中的词看起来没有问题，它也可以在听起来消极时改变措辞，或提供转接人工客服的选项。更小的适配模型可以让这类语音接口成本更低，尤其适合拥有自己所在领域的标注对话的团队。

但这将是一项狭窄的改进，而不是通用的情绪智能突破。在把这样的系统交给真实来电者或患者使用之前，还需要在真实人群上进行测试，并采取防护措施，避免把嘈杂的情绪估计变成对某人意图或身心状况的判断。它还需要更好的方法来衡量唤醒度和支配度。因此，有用的未来并不是一台知道某人感受如何的机器，而是一个不太可能把说出的话误认为完整信息的语音接口。

来源

arXiv，《Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue》