2026年10月19日
Technology Watch

研究室から産業へ。新しい技術の道筋を追う

← トップへ

arXiv

fMRIエンコーディング、1000モデルのアンサンブルなしで迫る性能

AI が描いたイメージ

単一の生成エンコーダーが、巨大なfMRIモデル・アンサンブルに近い精度を実現しながら、もっともらしい脳反応を複数生成できる。著者らは4人の参加者のデータでMultiFlowを評価し、見慣れた映画素材では、1000モデルのアンサンブルが報告した性能に並んだ。新しい人や刺激に対しても不確実性の較正が保たれるなら、研究者はボランティアをMRIスキャナーに入れる前に、コンピューター上で実験をふるいにかけられる。

人の脳が映画にどう反応するかを予測することは、その人が笑うかどうかを予測するのとは違う。同じ場面でも、毎回まったく同じ脳信号が生じるわけではない。それでも現在のシステムは、たいてい平均的な答えを1つ返す。最も正確な結果は、数十から数千の別々のモデルを学習させ、平均することで得られることが多かった。そのためには時間と計算能力が必要であり、システムが信頼する理由をほとんど持たない場合でも、最終的な答えが自信ありげに見えることがある。

脳反応の予測が難しい理由

機能的磁気共鳴画像法（fMRI）は、思考を直接記録するものではない。神経活動を間接的かつ遅れて示す、血中酸素の変化を追跡する。エンコーディングモデルは、人が見たり聞いたりしたものを出発点にして、その後に生じるfMRI信号を予測する。これは、脳の測定値から刺激を推測しようとするデコーディングとは逆である。

二乗誤差で学習する通常の回帰システムは、条件付き平均を生成する傾向がある。同じ場面に続いて起こりうる複数の結果の中間的な答えである。ピアソン相関スコアは、時間の経過に伴って予測値が測定信号とどれだけ一緒に上がり下がりするかを測る。モデルが脳の反応理由を理解していることを証明するものではない。

この論文は、4人の参加者が視聴し、その間にfMRIが脳全体を記録した視聴覚素材でシステムを検証する。モデルは映画の映像、音声、書き起こしを使い、学習済みの視覚、音声、言語、視聴覚モデル10個から得た特徴を組み合わせる。1つの小さな領域だけでなく、皮質全体の活動を予測する。

Refer to caption
Figure 2: Three views of fMRI encoding (schematic).(a) Deterministic regression maps the stimulus 𝐱\\mathbf{x} to a single point estimate 𝐲^\\hat{\\mathbf{y}} (red), collapsing the target BOLD distribution onto its conditional mean. (b) Standard CFM draws source samples 𝐳0\\mathbf{z}\_{0} (orange) from a fixed Gaussian p0=𝒩⁡(𝟎,𝐈)p\_{0}=\\mathcal{N}(\\mathbf{0},\\mathbf{I}) and transports each to pdata≈p⁡(𝐲∣𝐱)p\_{\\text{data}}\\!\\approx\\!p(\\mathbf{y}\\mid\\mathbf{x}) along a long ODE path. (c) MultiFlow (ours) draws the *same* samples from a *stimulus-conditioned* source p0​(𝐳0∣𝐱)=𝒩⁡(𝝁ϕ​(𝐱),σϕ​(𝐱)2​𝐈)p\_{0}(\\mathbf{z}\_{0}\\mid\\mathbf{x})=\\mathcal{N}\\!\\bigl(\\boldsymbol{\\mu}\_{\\phi}(\\mathbf{x}),\\sigma\_{\\phi}(\\mathbf{x})^{2}\\mathbf{I}\\bigr)whose 𝝁ϕ\\boldsymbol{\\mu}\_{\\phi} and σϕ\\sigma\_{\\phi} are *learned* to place the source closer to the target, shortening the expected transport path. In (b,c) the curves are independent samples from a *single* model; the panels differ only in the source distribution.## 2 Related Work 出典: MultiFlow: Vision-Driven Multimodal fMRI Encoding via Stimulus-Informed Source Flow Matching（arXiv）

1つのモデルで複数の脳反応を生成する

MultiFlowは、1つの反応を選ぶのではなく、もっともらしい反応経路を複数生成するタスクへと変える。学習済みのチェックポイントを1つ使い、テスト時に生成したサンプルを数個平均する。これは、1つの刺激に対して妥当な脳反応が複数ありうるという事実を捉えることを意図している。

そのサンプルがどこから始まるかが、中心となる工夫である。通常のフローマッチングでは、生成システムは固定されたランダムノイズの雲から始まり、数学的な経路に沿って各サンプルを目標分布へ徐々に移動させる。MultiFlowは、刺激そのものによって形作られた雲から始める。視覚、音声、言語の内容が出発点に有用な方向を与えるため、可能性のあるfMRI反応までの経路が短くなる。

この手法はStimulus-Informed Source Flow Matching（刺激情報を用いたソース・フローマッチング、SISFM）と呼ばれる。図2は、これを決定論的な予測と標準的なフローモデルの両方と対比している。重要な違いは、MultiFlowが別々に学習した多数のモデルを使うことではない。1つのモデルから異なる可能性を引き出すことである。

分布内のFriendsテストセットで、MultiFlowが報告したパーセルごとのピアソン相関の平均は0.3163だった。1000モデルから構築された報告済みのアンサンブルは0.3195だった。学習時に見ていない6本の映画では、モデルのスコアは低下したが、50モデルのアンサンブルについて報告された結果に近いままだった。著者らはまた、同じアーキテクチャで通常の平均二乗誤差回帰をSISFMに置き換えると、検証相関が0.2760から0.3213に上がったと報告している。

Refer to caption
Figure 1: Overview of the MultiFlow pipeline.Time-aligned *visual frames*, *audio samples*, and *transcripts* pass through ten frozen foundation-model backbones; the fused representation drives a generative model that synthesises whole-brain fMRI activity over the Schaefer-1000 parcellation. Rather than a single point estimate, MultiFlow models the stimulus-conditioned BOLD distribution via Stimulus-Informed Source Flow Matching (SISFM).Naturalistic paradigms in which participants watch movies during fMRI scanning have become a standard setting for studying how the brain integrates vision, language, and sound over time (Figure [1](https://arxiv.org/html/#S1.F1 "Figure 1 ‣ 1 Introduction ‣ MultiFlow: Vision-Driven Multimodal fMRI Encoding via Stimulus-Informed Source Flow Matching")). Encoding models that predict cortical responses from such stimuli give a principled way to probe this integration \[[Yamins and DiCarlo(2016)](https://arxiv.org/html/#bib.bibx33)\], and the Algonauts 2025 dataset \[[Gifford et al.(2025b)Gifford, Bersch, St-Laurent, Pinsard, Boyle, Bellec, Oliva, Roig, and Cichy](https://arxiv.org/html/#bib.bibx8), [Boyle et al.(2023)Boyle, Pinsard, Borghesani, Paugam, DuPre, and Bellec](https://arxiv.org/html/#bib.bibx2)\], with tens of hours of whole-brain recordings per participant, makes it feasible to train deep encoders on them. 出典: MultiFlow: Vision-Driven Multimodal fMRI Encoding via Stimulus-Informed Source Flow Matching（arXiv）

スキャナーに入る前の有用な警告

この結果がより多くの人と反復スキャンでも成り立つなら、大学の画像診断センターの研究者は、限られたMRIの利用時間を予約する前に、コンピューター上で映画のクリップを検証できる。システムは脳領域全体で予測された活動を示し、予測の不確実なクリップに印を付けられる。病院の研究チームも同じように、参加者に見せる前に刺激シーケンスを廃棄する数を減らせるかもしれない。

この不確実性こそが、このアイデアで最も重要な部分だが、限界もある。MultiFlowの不確実性の尺度は予測がどれほど不確実かを示すものであり、人の生理や思考が自然にどれほど変動するかを測るものではない。このデータセットでは、保留したプロトコルのもとで同じ刺激を繰り返し提示していない。そのため著者らは、ばらつきのどれだけが生物学的変動によるもので、どれだけがモデルの知識不足によるものかを判別できない。

このシステムは、リアルタイムのブレイン・コンピューター・インターフェースにもまだ使える状態ではない。デフォルトの推論では、生成するサンプルごとにネットワークを何度も評価する必要がある。実験を確実に導けるようになる前に、反復提示、より多くの参加者、より高速な推論による検証が必要である。したがって、可能性は、あらゆる状況で1つのモデルが1000個に取って代わったことではない。巨大なモデル・アンサンブルを維持しなくても、脳反応の予測が有力な答えと、その答えを疑う理由の両方を得られるかもしれないということだ。

出典

arXiv、「MultiFlow: Vision-Driven Multimodal fMRI Encoding via Stimulus-Informed Source Flow Matching」