arXiv
音频语言模型会先让你重复一遍
音频语言模型可以利用一种廉价的早期预警机制，避免自信地回答一个自己听错的请求。研究人员在 Qwen2-Audio-7B-Instruct 的音频编码器上接入了一个小型分类器，并报告称，该分类器在训练域内取得了 81.10% 的宏平均 F1 分数。在行驶中的汽车里，如果这套门控机制能够适用于真实车辆、麦克风、扬声器和道路噪声，仪表盘就会在生成消息之前要求驾驶员重复一遍。
在嘈杂的汽车里、充满回声的厨房中，或者其他声音彼此竞争的房间里，语音助手可能听到与你说出的句子不同的话。随后，它可能流畅而自信地回答，让你几乎没有机会意识到：它的答案建立在你从未说过的词语之上。如今，流畅的回答并不能证明系统理解了请求。
听清声音背后的词语
音频语言模型接收语音，并能在回答之前将其转换成文本。但对人来说听起来同样糟糕的语音，对一个模型可能很容易，对另一个模型却很难。结果取决于词语、说话者、噪声以及模型本身。因此，衡量录音听起来有多“清晰”的通用分数并不够。重要的是，这个特定模型能否正确转写它。
论文使用词错误率（word-error rate，简称 WER）来衡量这种可靠性：也就是转写中出错词语所占的比例。研究人员将录音分为四组：可靠，即没有任何词语错误；轻度退化，即错误率最高为 10%；中度退化，即错误率超过 10% 且最高为 30%；以及重度退化，即错误率超过 30%。
大多数置信度检查都发生在模型生成文本的过程中，或者在文本生成之后。这意味着，系统可能已经花费了必要的计算量来解码一段糟糕的录音并形成答案。更早进行的检查可以阻止这一过程。但它也必须避免在声音只是有些不完美时，就要求人们反复重说。
答案生成前的小型门控机制
研究人员在音频语言模型的音频部分接入了一个小型分类器。音频编码器——最先将声音转换成内部表示的部分——保持冻结。新增的分类器会随时间观察这种表示，并预测模型将落入四个可靠性类别中的哪一类。
关键在于，预测发生在语言模型生成文本之前。如果分类器预计转写结果不可靠，语音系统就可以要求说话者重复请求，而不是解码一个很可能听错的句子，再围绕它编造答案。论文称，新增的 Qwen2-Audio-7B-Instruct 预测头包含 0.33 million 个可训练参数，需要约 2.12 million 次浮点运算。这意味着，与启动完整的语言模型回答相比，它是一个低计算量的门控机制。
作者使用混合了受控噪声、音乐和混响的语音来训练和测试系统。他们还在训练中未使用的不同语音、环境干扰和真实房间响应上进行了测试。在 Qwen2-Audio-7B-Instruct 上，该预测器在类似训练域的数据上取得了 81.10% 的宏平均 F1 分数，在跨域数据上取得了 78.09%。最强的对比方法在这两项测试中分别达到 70.77% 和 66.16%。
研究人员还使用 Phi-4-Multimodal-Instruct 和 MOSS-Audio-8B 对系统进行了评估。作者报告称，可靠性标签库——记录每个模型在何处跨过错误边界——有时可以在不同模型系列之间复用。当模型对可靠转写有不同界限时，这种收益会减弱。
“请重复一遍”何时是更安全的回答
想象一位驾驶员在道路噪声中大声说出一条消息。如果可靠性门控机制有效，仪表盘会在生成任何内容之前说：“我没听清——请重复一遍。”驾驶员就有机会纠正请求，而不是事后才发现汽车回答的是另一个请求。
这一未来取决于的不只是受控测试中的高分。预测器必须能够应对真实车辆、麦克风、扬声器和环境噪声，同时不能要求人们进行不必要的重复。合成干扰也无法涵盖实际使用中可能出现的所有故障，例如说话者重叠、不常见的口音、语音被截断，或某个设备特有的麦克风问题。
这种权衡无法避免：标记得太多，人们就会不必要地重复自己；标记得太少，系统仍会自信地误解他们。论文更大的意义在于，当音频模型很可能没有正确听清词语时，语音界面应该能够在回答之前停下来。如果这一结果能在真实录音中成立，并且可以针对每个已部署的模型进行校准，那么要求重复可能会成为可靠语音系统内置的一部分，而不是在错误答案已经生成之后才添加的检查。