arXiv
音訊語言模型會先要求重複
音訊語言模型可以利用一個低成本的早期警示，避免在誤聽請求時仍自信地回答。研究人員在 Qwen2-Audio-7B-Instruct 的音訊編碼器上加裝一個小型分類器，並報告稱該模型在訓練領域的 macro-F1 達到 81.10%。在行駛中的車內，如果這個閘門能適用於不同的真實車輛、麥克風、揚聲器和道路噪音，儀表板就能在編寫訊息前要求駕駛重複一次。
在嘈雜的車內、充滿回音的廚房，或其他聲音彼此競爭的房間裡，語音助理可能會聽到與你所說不同的句子。接著，它可能流暢又自信地回答，讓你幾乎無從得知，它的答案其實建立在你從未說過的字詞上。如今，流暢的回覆並不能證明系統理解了請求。
聽見聲音背後的字詞
音訊語言模型會接收語音，並在回答前將語音轉成文字。但對人來說聽起來同樣糟糕的語音，對某個模型可能很容易，對另一個模型卻可能很難。結果取決於字詞、說話者、噪音，以及模型本身。因此，衡量錄音聽起來有多「清楚」的一般分數並不足夠。重要的是，這個特定模型能否正確轉錄它。
這篇論文使用詞錯誤率（WER）衡量這種可靠性：也就是轉錄內容中出錯字詞所占的比例。研究將錄音分成四組：可靠，詞錯誤數為零；輕微退化，錯誤率最高為 10%；中度退化，錯誤率超過 10% 且最高為 30%；以及嚴重退化，錯誤率超過 30%。
大多數信心檢查都發生在模型產生文字的過程中，或是在文字產生之後。這表示系統可能已經花費了所需的運算，解碼糟糕的錄音並形成答案。更早進行的檢查可以阻止這個過程。但它也必須避免在聲音只是稍微不完美時，就要求人們重複自己。
答案前的小型閘門
研究人員在音訊語言模型的音訊部分加裝一個小型分類器。音訊編碼器——也就是最先將聲音轉換成內部表徵的部分——保持凍結。新增的分類器會隨時間觀察這個表徵，並預測模型會落在哪一個可靠性組別。
關鍵在於，這項預測會在語言模型產生文字之前完成。如果分類器預期轉錄內容不可靠，語音系統就能要求說話者重複請求，而不是解碼一個很可能誤聽的句子，再圍繞它編造答案。論文指出，新增的 Qwen2-Audio-7B-Instruct 預測頭有 0.33 million 個可訓練參數，需要約 2.12 million 次浮點運算。與啟動完整的語言模型回覆相比，這讓它成為一個低運算量的閘門。
研究作者使用混入受控噪音、音樂和殘響的語音來訓練並測試系統。他們也在訓練時未使用的不同語音、環境干擾和真實房間響應上進行測試。在 Qwen2-Audio-7B-Instruct 上，預測器在類似其訓練領域的資料上達到 81.10% 的 macro-F1 分數，跨領域則為 78.09%。最強的比較方法在這兩項測試中分別達到 70.77% 和 66.16%。
研究人員也使用 Phi-4-Multimodal-Instruct 和 MOSS-Audio-8B 評估系統。作者報告稱，可靠性標籤庫——記錄每個模型在哪裡跨越錯誤邊界——有時可以在不同模型家族之間重複使用。當模型對可靠轉錄有不同界限時，這項好處會減弱。
「請重複」何時是更安全的答案
想像一名駕駛在道路噪音中大聲說出一則訊息。如果可靠性閘門有效，儀表板會在編寫任何內容前說：「我沒聽清楚——請重複一次。」駕駛就有機會修正請求，而不是事後才發現車子回答了另一個請求。
這個未來所依賴的不只是受控測試中的好分數。預測器必須能在真實車輛、麥克風、揚聲器和環境噪音中運作，同時不要求不必要的重複。合成干擾也無法涵蓋實際使用中可能出現的每種故障，例如多人重疊說話、不常見的口音、語音截斷，或特定裝置的麥克風問題。
這種取捨無法避免：標記過多，人們就會不必要地重複自己；標記過少，系統仍會自信地誤解他們。這篇論文更大的重點是，當語音介面自己的音訊模型不太可能正確聽見字詞時，它應該能在回答前停下來。如果這項結果能在真實錄音中成立，並且能針對每個部署的模型進行校準，那麼要求重複就可能成為可靠語音系統內建的一部分，而不是在錯誤答案已經產生後才加上的檢查。