arXiv
感情型BCIは回答ではなく動画から始まる
感情型ブレイン・コンピューター・インターフェース（BCI）は、新しい利用者に個人用の調整をしてもらう代わりに、動画の既知の感情の時間変化と、脳に基づく小さな調整を使える。研究者は、感情を引き起こす動画クリップを見ている32人を対象にこの方法を試し、評価対象者のラベルを学習から外した。この方法がより大きな集団や現実の記録条件でも成り立つなら、ユーザビリティー研究室の訪問者は標準的な安全研修動画を見ながら、システムに通常とは違う過剰な刺激を受けた瞬間を検出してもらえる。
現在、感情型ブレイン・コンピューター・インターフェースは通常、装着する本人にまず宿題をしてもらう必要がある。調整のセッションでは、新しい利用者がシステムに脳信号を記録させながら、自分の気持ちを繰り返し伝えることになる。個人のラベルがなければ、他人で学習したモデルは苦戦する。脳信号は解剖学的特徴、記録条件、個人の生理状態によって変化し、人々は感情の尺度を異なる強さで使うからだ。
動画が重要な理由
感情コンピューティングのシステムは、人が報告した感情の2つの側面を推定しようとする。**感情価（valence）**はおおよそ、どれだけ快いか不快かを示し、**覚醒度（arousal）**はおおよそ、どれだけ活性化しているか、落ち着いているかを示す。多くのシステムは動画全体に対して1つのラベルを予測する。しかし感情は秒ごとに変わるため、役に立つインターフェースには、その変化する曲線を追う能力が必要になる。
重要な手がかりは、同じ実験に参加した人々が同じ素材を見ていることだ。動画には順序がある。静かな瞬間、衝撃、緊張した場面、緊張の解放だ。システムが再生中の動画と、時間上のどの位置にいるかを知っていれば、見る人たちに共通する感情のパターンを使える。1人の脳活動だけからすべてを推測する必要はない。
だからといって、脳信号が重要でなくなるわけではない。同じ場面に対しても、人によって反応の強さは異なる。ある人の反応は急上昇する一方、別の人の反応はほとんど動かないかもしれない。優れたシステムには、共通のパターンを個人に合わせて調整する方法がやはり必要になる。
1つの調整を加えた共通の感情の時間変化
研究者は、感情を引き起こすよう選んだ15本の動画を見ている32人の記録を使い、この考えを検証した。参加者は感情価と覚醒度を連続的に報告し、研究者はEEGで電気的な脳活動を、fNIRSで血中酸素の変化を記録した。EEGは速いが人による違いが大きく、fNIRSはより遅い身体的変化を追う。両者を組み合わせても、それだけでこの問題がなくなるわけではない。
モデルはまず、集団の平均的なラベルの軌跡を学習した。これは、それぞれの動画の各時点で集団が報告した感情である。次に、個人ごとのゲインを1つ加えた。ゲインとは、新しい視聴者に対して共通の曲線を強くしたり弱くしたりする倍率を意味する。
このゲインを得るために、視聴者にラベルを提供させることはなかった。ゲインは、アルファ帯域で異なるEEGチャンネルがどれだけ似た振る舞いをしたかという指標から得られた。アルファ帯域は、8〜13ヘルツの脳波活動の範囲である。簡単に言えば、モデルは視聴者の脳活動に現れる、ラベルを必要としない小さな手がかりを使って、共通の感情曲線をどの程度引き伸ばすべきかを判断した。
予測の大部分を担ったのは、集団の軌跡だった。厳密なテストでは、評価対象となった人々のラベルを学習から完全に外した。モデルの生の尺度での平均誤差は、4人からなる一方のテストバッチで25.96、もう一方で22.80だった。同じ分割で、2つのニューラルネットワークを使ったベースラインでは、より大きな誤差が報告されている。個人ごとの調整を加えても改善は小さく、繰り返し分析で報告された誤差を0.45改善しただけだった。
この小さな改善は、恥ずべきものではなく結果の一部である。それは、予測力の主な源が個人の脳を詳細に描いたものではなく、既知の刺激、つまり動画とその時間の流れだったことを示している。マルチモーダルな個人向け補正を学習しようとする、より複雑なネットワークは、人々の間で統計的に明確な改善を生まなかった。アルファ同期性の指標は、主に覚醒度について理想的な調整と関係しており、感情価については有意な関係がなかった。
キャリブレーションなしのシステムはどのようなものか
ユーザビリティー研究室では、訪問者がEEGヘッドセットを装着し、標準的な安全研修動画を見ることができる。システムは、本人を異常に過剰な刺激状態にする瞬間を検出できる。事前に、カーソルを動かしたり自分の感情について質問に答えたりするセッションに時間を使わせる必要はない。
同じ考え方は、標準化されたゲーム、研修教材、仮想環境への反応にも合う可能性がある。動画やゲーム、シミュレーションが共通の感情の時間変化を提供し、脳信号が小さな個人補正を提供する。視聴者に回答を求めずにその補正が信頼できると分かれば、ラベル付きの長い調整セッションの価値は大きく失われる。
しかし、これは汎用的な感情デコーダーではない。刺激とその感情の時間的経過を知っていることが前提になる。また、より大きく多様な集団や、現実の記録条件でも機能しなければならない。著者らは、学習に使った24人が、調整の精度とモデルが到達しうる上限をどれだけ正確に判断できるかを制限していると述べている。その証拠が得られるまでは、実用面での期待はもっと狭い。感情型BCIは動画から始まり、その後に脳信号を使って答えを調整する可能性がある。