arXiv
ブレイン・コンピューター・インターフェースが脳波信号でフレーズを順位付けする
脳波信号を言語空間に置くことで、ブレイン・コンピューター・インターフェースは固定された指令メニューから、意味に基づいて候補フレーズを並べる方式へ移行できる可能性がある。研究者は、中国語を母語とする5人が文を想像したときの脳波データでシステムを訓練し、候補フレーズの意味を照合させた。この方法が人や時間をまたいでも安定すれば、リハビリテーション診療所の利用者は関連する表現を見て、そのうちの1つを確認できる。
確実に話せない人は、今日では非侵襲型のブレイン・コンピューター・インターフェースを使っても、通常はあらかじめ書かれた少数の指令から選ぶことしかできない。システムが信号を読み違えることも多い。利用者は何度も選択を繰り返し、固定されたメニューをたどるか、介助者に自分が本当に言いたいことを推測してもらわなければならない場合がある。
まず何を読んでいるのかを理解する
脳波図（EEG）は、頭皮上の微弱な電気活動を記録する方法である。人が頭の中で文を黙読すると、言語に関係する信号はノイズやその他の干渉に混ざる。従来の「クローズドセット分類器」は、訓練したラベルの中から1つを選ぶことしかできない。リモコンが、すでにあるいくつかのボタンしか押せないのと同じである。
別の方法は、文を数値表現、つまり文の意味を表せる「埋め込み」（embedding）に変換することである。意味が近い2つの文は、この空間でもより近くなる。これにより、システムは言いたいことをすべてあらかじめボタンにしておく必要がなくなる。ただし、類似度は言語を生成することではなく、制限のない思考を読み取ったことを意味するわけでもない。補助コミュニケーションでは、誤った推測は出力がないことより悪い可能性がある。そのためシステムは、いつ答えを拒否すべきかを把握し、利用者に確認を求めなければならない。
脳波信号を言語空間に入れる
この研究では、単一試行の発話想像時の脳波信号を、39カテゴリーの識別だけを訓練するのではなく、中国語の文が置かれた同じ空間に写像した。研究者は、健康な中国語母語話者5人のデータを使った。参加者は画面上の文を黙って繰り返し想像し、1回の記録は3.3秒続いた。脳波エンコーダーは512次元の表現を出力し、凍結した中国語テキストエンコーダーと対応付けた。
結果によると、この言語整合手法は、固定カテゴリーでの性能では専用の分類器におおむね劣らなかった一方、脳波信号と候補フレーズを比較して順位付けできた。上位5件の正確率は約29%から33%で、ランダムな水準は15%だった。システムが最も確信を持つ約20%の試行だけを残すと、上位5件の正確率は約43%から51%に上昇した。研究者は訓練に使っていない文も候補集に入れ、脳波表現がどの意味に近くなるかを観察した。ただし、これは定性的な結果にすぎず、システムがオープンボキャブラリーを扱えることを証明するものではないと強調している。
固定メニューから候補フレーズへ
この意味の整合が、異なる人、異なる時期の記録、さらに大規模な独立した文集合でも安定すれば、リハビリテーション診療所の場面は変わる可能性がある。ある人が脳波キャップをかぶり、要求を黙って練習すると、画面には意味の近い数個の文が並び、最初の推測をすぐ実行するのではなく、本人が明確に確認するまで待つ。設計者は拡大し続けるテキストライブラリーも使えるようになり、意図ごとに命令ツリーを作る必要がなくなる。
しかし、この研究の主要な障害は、まさに「今回の推測を信じるべきか」である。すべての試行を対象にすると、1位の正確率は約8%から10%にすぎない。信頼性の分析はオフライン環境で行われ、利用者がいつでも開始・停止できる対話型の制御は試されていない。また、人をまたぐ場合、セッションをまたぐ場合、記録条件が異なる場合、患者の場合、長期使用の場合も試されていない。診療所で候補フレーズを本当に安全に使えるようにするには、より高い正確率、キャリブレーション、セッションをまたいだ安定性、そして信頼できる拒否・確認の仕組みが必要である。