2026年10月19日
Technology Watch

研究室から産業へ。新しい技術の道筋を追う

← トップへ

arXiv

マルチモーダルなフェイクニュースでは画像が一致していても証拠にならない

AI が描いたイメージ

説得力のある画像や洗練された文章は、ソーシャルメディア上の主張が真実であることを示す信頼できるサインではなくなった。研究者たちは実在する記事4,507本を、真実の投稿と偽の投稿のペアに変えた。実在する名前や出来事は残しながら、中心となる事実を変え、内容に合わせた画像を加えたのである。検証ツールが情報源をたどり、主張も確認するなら、近隣の健康警告は、そのグラフと画像がグループ内で急速に拡散する前に調べられるだろう。

ソーシャルメディアの投稿は、何も証明していないのに証拠のように見えることがある。実在する機関の名前、正確な数字、見慣れたグラフ、そして出来事を写しているように見える画像を使うかもしれない。それでも、中心にある主張は偽りかもしれない。実在する画像が別の文脈から持ち出されていることもあれば、作られた画像が文章に合うよう設計されていることもある。モデレーターは、洗練された投稿をすべて人間のファクトチェッカーのように注意深く調べることはできない。そのため、ぎこちない文章や一致する画像を主に探すシステムは、簡単にだまされてしまう。

一致する画像が証拠にならない理由

テキストだけを扱う言語モデルによって、説得力のある偽の物語を書くことはすでに容易になっている。画像を加えると、文章と画像が互いを補強できるため、物語の確認はさらに難しくなる。しかし、「物語に合っている」ことは「真実である」ことと同じではない。写真は本物でも無関係かもしれない。イラストは人工的に作られたものでも、イラストとして明確に示されているかもしれない。投稿を検証するには、一般に投稿の外部にある証拠が必要だ。元の報道、画像の出どころを示す記録、または独立した信頼できる情報源からの情報などである。

これは、奇妙に見える投稿を見つけることと、主張を確認することの違いである。前者はパターンに気づけばできる。後者では、出来事が実際に起きたのか、そして画像が本当にその出来事のものなのかを問う。

Refer to caption
Figure 4: An example failure case in multimodal fake-news detection.To assess whether MLLMs make fake-news decisions in a human-like manner, we conduct an additional human annotation study on 300 news items, sampling 100 items from each dataset with a balanced split of 50 true and 50 fake items. Following the same structure as CoT models, annotators first judge four verification dimensions—factual accuracy of text, misleading language in text, image–text alignment, and image authenticity—and then provide a final veracity judgment (true/fake). These dimensions serve as diagnostic cues for analyzing the reasoning process rather than as independent definitions of news veracity. In particular, image authenticity must be considered jointly with textual factuality and cross-modal evidence, since legitimate news may contain AI-generated illustrations, while fake news may reuse authentic but out-of-context images. The annotation protocol is described in Appendix [C](https://arxiv.org/html/#A3 "Appendix C Human Annotation ‣ Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?"), and the interface is shown in Fig. [6](https://arxiv.org/html/#A3.F6 "Figure 6 ‣ Appendix C Human Annotation ‣ Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?"). 出典: Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?（arXiv）

信じられそうな偽投稿を作る工場

研究者たちは、実際のニュース記事から始めて、短いソーシャルメディア投稿を2つ作るパイプラインを構築した。一方は記事を忠実に要約し、もう一方は重要な事実を変える投稿である。言語モデルは、名前、機関、数字、出来事そのものといった手がかりを残したまま、中心となる主張を反転させる。画像生成モデルは、偽の版を裏付ける画像を作る。別のモデルが、変更された事実、読みやすい言語、画像のリアリティ、画像と文章の適合性、ソーシャルメディアに適した形式について結果を確認する。

チームは、科学、健康、エンターテインメントを扱う著作権フリーの記事4,507本から、こうしたペアの投稿を作った。これによって、ばらばらだった問題が再現可能なテストに変わる。例えば、ロゼッタ・ミッションが67P彗星に計画どおり軟着陸するという実際の記述は、計画外の衝突についての偽の物語に変えられる。その際も、欧州宇宙機関、ロゼッタ、彗星の名前は残る。投稿を現実に根ざしているように感じさせる細部は取り除かれず、うそを運ぶために使われる。

次に研究者たちは、文章と画像の両方を扱える16のマルチモーダルモデルをテストした。論文によると、構造化されたプロンプトを与えた場合、このベンチマークでGPT-5.5は平均F1と正解率99.21を達成した。ただし、このベンチマークは1つの生成パイプラインと3つの分野から作られている。モデルは主張の真偽を確認しているのではなく、そのパイプラインの習慣を認識しているだけかもしれない。

Refer to caption
Figure 2: An agent framework for generating multimodal social media fake newsIn this paper, we propose a multi-agent framework to generate multimodal social media fake news grounded in real-world events. As shown in Fig. [1](https://arxiv.org/html/#S0.F1 "Figure 1 ‣ Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?"), the fake news post generated by our framework comprises a short story and a corresponding image that counter the true news narrative. For example, given a Nature news article about the Rosetta mission, our framework reverts the successful deliberate ”soft crash into Comet 67P” into a fabricated failure story of an ”unplanned collision”, while retaining key factual anchors such as ESA, Rosetta, and Comet 67P to ensure narrative plausibility and deceive readers. 出典: Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?（arXiv）

より良い確認はどのようなものか

近所のFacebookグループで、誰かが公式らしいグラフ付きの洗練された健康警告を目にするかもしれない。信頼できるプラットフォームなら、グラフや語調、画像を証拠として扱わない。主張がどこから来たのかを示し、広く拡散する前に検証に回すだろう。そのためには、文章と画像を一緒に確認する必要がある。本物の画像が文脈を外れて再利用されていないかどうかも含まれる。

論文での人間によるレビューでは、4つの別々の質問が使われた。文章は事実として正確か。言葉は誤解を招くものか。画像は文章に合っているか。画像は本物らしく見えるか。これらの質問は有用な手がかりだが、証拠の代わりにはならない。著者たちは、評価が利用可能な著作権フリー素材によって制限されていると述べている。また、コードとデータは、倫理的な研究のために登録した研究者に限って共有される。より大きな課題は、検出システムが、新しい生成モデル、プロンプト、キャンペーン、そして実際に再利用された画像から投稿が作られた場合にも機能し続けられるかどうかである。

出典

Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?