arXiv
情感腦機介面，起點是影片，不是你的回答
情感腦機介面可以用一段影片已知的情緒時間軸，加上小幅度的腦部訊號調整，取代新使用者大部分的個人校準。研究人員讓 32 名參與者觀看能引發情緒的片段，測試這種方法，並將受評估參與者的標註排除在訓練之外。如果這種方法在更大的群體和真實世界的記錄條件下仍然成立，那麼可用性實驗室的訪客就能觀看一部標準安全影片，同時讓系統標記出使他們異常過度刺激的時刻。
如今，情感腦機介面通常需要使用者先做功課。在校準階段，新使用者可能要一再說出自己的感受，同時讓系統記錄腦部訊號。沒有這些個人標註，以其他人資料訓練的模型就很難發揮作用：腦部訊號會因解剖結構、記錄條件和個人生理狀況而改變，而不同人使用感受量表時，強度也不一樣。
為什麼影片很重要
情感運算系統試圖估計一個人所報告感受的兩個部分：效價（valence），大致指感受有多愉快或不愉快；以及喚起度（arousal），大致指感受有多亢奮或平靜。許多系統會為整部影片預測一個標籤。但感受可能每秒都在變化，因此實用的介面需要跟上這條不斷變動的曲線。
重要的線索在於，同一項實驗中的人正在觀看相同的素材。影片有一段順序：安靜的時刻、突如其來的驚嚇、緊張的場景、情緒釋放。如果系統知道正在播放哪部影片，以及目前播放到哪個時間點，就能利用觀看者共享的情緒模式。它不必只從某一個人的腦部活動猜出所有事情。
這並不代表腦部訊號不重要。不同人對同一場景的反應強度可能不同。一個人的反應可能急劇上升，另一個人的反應卻幾乎沒有變化。好的系統仍然需要某種方法，根據個人調整共享模式。
共享的情緒時間軸，加上一項調整
研究人員利用 32 人觀看 15 部用來引發情緒的影片時所取得的記錄，測試了這個想法。參與者持續回報自己的效價和喚起度，研究人員則用 EEG 記錄腦部電活動，用 fNIRS 記錄血氧變化。EEG 的速度很快，但不同人之間差異很大；fNIRS 追蹤的是較慢的生理變化。把兩者結合起來，本身並不能消除這個問題。
模型首先學習群體平均的標籤軌跡：群體在每部影片每個時刻所報告的感受。接著，它加入一個個人專屬的增益，也就是讓共享曲線對新觀看者變得更強或更弱的乘數。
這個增益不是透過要求觀看者提供標籤取得的。它來自一項測量：不同 EEG 通道在 alpha 頻段中的表現有多相似；這個頻段是 8 到 13 hertz 的腦波活動範圍。簡單來說，模型使用一項小幅、無標籤的觀看者腦部活動訊號，來決定應該把共同的情緒曲線拉伸多少。
群體軌跡完成了大部分工作。在嚴格的測試中，受評估者的標籤完全沒有被納入訓練。模型的平均原始尺度誤差，在其中一個四人測試批次中為 25.96，在另一個批次中為 22.80。論文報告指出，在相同的資料切分下，兩個神經網路基線的誤差更大。加入個人專屬調整只帶來有限幫助：在重複分析中，報告的誤差改善了 0.45。
這項小幅改善是結果的一部分，而不是令人尷尬的地方。它說明預測力的主要來源，是已知的刺激，也就是影片及其時間軸，而不是對個人腦部的詳細描繪。一個試圖學習多模態個人化修正的更複雜網路，並沒有在不同人之間帶來統計上明確的改善。alpha 同步性測量主要只和喚起度的理想調整有關，與效價的關聯則不具統計顯著性。
無需校準的系統可能會是什麼樣子
在可用性實驗室裡，訪客可以戴上 EEG 頭戴裝置，觀看一部標準安全訓練影片。系統可以標記出讓這名觀看者異常過度刺激的時刻，而不必先讓他們花一個時段移動游標，或回答關於自身感受的問題。
同樣的邏輯也可能適用於人們對標準化遊戲、訓練教材或虛擬環境的反應。影片、遊戲或模擬環境會提供共享的情緒時間軸；腦部訊號則會提供小幅度的個人修正。如果這項修正證明能在不要求觀看者回答問題的情況下可靠運作，長時間、帶有標註的校準階段就會失去大部分價值。
但這不是通用的情緒解碼器。它仰賴對刺激及其情緒時間進程的了解。它也必須在更大、更多樣化的群體，以及真實世界的記錄條件下運作。作者表示，用於訓練的 24 人限制了他們判斷校準效果和模型可能上限的精確程度。在這些證據出現之前，這項技術的實際前景更為有限：情感 BCI 可能會從影片開始，再用腦部訊號調整答案。