arXiv
情感脑机接口从视频开始，而不是从你的回答开始
情感脑机接口可以用一段视频已知的情绪时间线，再加上一次基于脑信号的小幅调整，替代新用户大部分个性化校准。研究人员让32名参与者观看能够引发情绪的片段，测试时完全不使用被评估参与者的标签进行训练。如果这一方法在更大规模的人群和真实世界的记录条件下仍然成立，那么可用性实验室里的访客就可以观看一部标准安全培训片，而系统会标记出让其异常过度兴奋的时刻。
如今，情感脑机接口通常需要佩戴者先做一份“家庭作业”。在校准环节，新用户可能要一遍遍说出自己的感受，同时系统记录其脑信号。没有这些个人标签时，用其他人数据训练的模型会很吃力：脑信号会因解剖结构、记录条件和个人生理状况而变化，而且不同人使用感受量表时，强度也不一样。
为什么视频很重要
情感计算系统试图估计一个人报告的感受中的两个部分：效价，大致指感受有多愉快或不愉快；以及唤醒度，大致指感受有多激动或平静。许多系统会为整段视频预测一个标签。但感受可能每秒都在变化，因此，一个有用的接口需要跟踪这条变化曲线。
关键线索在于，同一实验中的人观看的是相同的材料。一段视频有自己的顺序：平静的时刻、惊吓、紧张的场景、情绪释放。如果系统知道正在播放哪段视频，以及播放到哪个时间点，就能利用观看者共享的情绪模式。它不必仅从某一个人的脑活动中猜出一切。
这并不意味着脑信号不重要。人们对同一个场景的反应强度可能不同。一个人的反应可能急剧上升，另一个人的反应却几乎不变。一个好的系统仍然需要一种方法，根据个人情况调整这个共享模式。
共享的情绪时间线，加上一次调整
研究人员利用32人观看15段情绪诱发视频时的记录，测试了这一想法。参与者持续报告自己的效价和唤醒度，同时研究人员用EEG记录脑电活动，用fNIRS记录血氧变化。EEG速度快，但在人与人之间差异很大；fNIRS追踪的是一种较慢的生理变化。把两者结合起来，并不会自动消除这个问题。
模型首先学习一条群体平均标签轨迹：在每段视频的每个时刻，整个群体报告的感受。随后，它为新观看者加入一个单独的个体增益，也就是一个能让共享曲线变强或变弱的乘数。
这个增益不是通过要求观看者提供标签得到的，而是来自一个指标：不同EEG通道在α频段中的行为有多相似。α频段是指8到13赫兹的脑电波活动范围。简单来说，模型利用观看者脑活动中一个无需标签的小线索，来决定应该把共同的情绪曲线拉伸多少。
群体轨迹发挥了大部分作用。在严格的测试中，被评估者的标签完全没有用于训练。模型的平均原始尺度误差，在一个四人测试批次中为25.96，在另一个批次中为22.80。论文报告称，在相同的数据划分上，两个神经网络基线模型的误差更大。在一次重复分析中，加入个体特定的调整只带来了有限帮助，使报告的误差改善了0.45。
这一点小小的改善是结果的一部分，并不是什么尴尬之处。它说明，预测能力的主要来源是已知的刺激物——视频及其时间线——而不是对个人大脑的详细刻画。一个试图学习多模态个性化修正的更复杂网络，并没有在不同参与者之间带来统计上明确的提升。α同步指标主要与唤醒度的理想调整有关，而与效价的关系并不显著。
一个无需校准的系统可能是什么样
在可用性实验室里，访客可以戴上EEG头戴设备，观看一部标准安全培训片。系统可以标记出让这位观看者异常过度兴奋的时刻，而不必先让其花一整个环节移动光标，或回答有关自身感受的问题。
同样的逻辑也可能适用于人们对标准化游戏、培训材料或虚拟环境的反应。视频、游戏或模拟环境会提供共享的情绪时间线；脑信号则提供一次小幅的个体修正。如果这种修正无需询问观看者、只靠无标签方式就能可靠工作，那么耗时的带标签校准环节，其价值将大幅下降。
但这不是一个通用的情绪解码器。它依赖于对刺激物及其情绪时间进程的了解。它还必须在规模更大、差异更多的人群中，以及真实世界的记录条件下发挥作用。作者表示，用于训练的24人限制了他们判断校准效果和模型潜在上限的精确程度。在这些证据出现之前，它的实际前景仍然更有限：情感脑机接口可以从视频开始，然后用脑信号来调整答案。