2026年10月19日
Technology Watch

从实验室到产业,追踪新技术的路径

← 返回首页

arXiv

多模态假新闻:匹配的图片并不能证明真实

AI 绘制的示意图

一张有说服力的图片和经过润色的文字,不再是社交媒体说法为真的可靠信号。研究人员将4,507篇真实文章改造成成对的真假帖子:保留真实的人名和事件,同时改变核心事实,并添加量身定制的图片。如果验证工具还会追溯来源、核查说法,那么一条社区健康警告就能在它的图表和图片让消息在群组里快速传播之前接受审查。

一条社交媒体帖子可以看起来像证据,却什么也证明不了。它可能使用真实机构的名称、一个精确数字、一张熟悉的图表,以及一张看起来能证明事件发生过的图片。然而,核心说法可能是假的。真实图片可能取自另一个语境,而虚构图片也可以专门设计来配合文字。审核人员不可能像人工事实核查员那样仔细检查每一条经过精心制作的帖子,因此,主要寻找别扭措辞或匹配图片的系统很容易被误导。

匹配的图片为什么不是证据

纯文本语言模型已经让编写有说服力的虚假故事变得更容易。加入图片后,故事更难核查,因为文字和图片可以相互支持。但“符合故事”并不等于“真实”。一张照片可能是真的,却与这件事无关。一幅插图可能是人工生成的,但明确以插图形式呈现。要验证一条帖子,系统通常需要帖子之外的证据:原始报道、显示图片来源的记录,或来自独立可信来源的信息。

这就是发现看起来奇怪的帖子和核查一条说法之间的区别。前者可以通过观察模式来完成。后者则要确认事件是否发生过,以及图片是否确实属于这个事件。

Refer to caption
Figure 4: An example failure case in multimodal fake-news detection.To assess whether MLLMs make fake-news decisions in a human-like manner, we conduct an additional human annotation study on 300 news items, sampling 100 items from each dataset with a balanced split of 50 true and 50 fake items. Following the same structure as CoT models, annotators first judge four verification dimensions—factual accuracy of text, misleading language in text, image–text alignment, and image authenticity—and then provide a final veracity judgment (true/fake). These dimensions serve as diagnostic cues for analyzing the reasoning process rather than as independent definitions of news veracity. In particular, image authenticity must be considered jointly with textual factuality and cross-modal evidence, since legitimate news may contain AI-generated illustrations, while fake news may reuse authentic but out-of-context images. The annotation protocol is described in Appendix [C](https://arxiv.org/html/#A3 "Appendix C Human Annotation ‣ Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?"), and the interface is shown in Fig. [6](https://arxiv.org/html/#A3.F6 "Figure 6 ‣ Appendix C Human Annotation ‣ Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?"). 出处: Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?(arXiv)

制造可信假帖子的工厂

研究人员搭建了一条流程:从一篇真实新闻文章开始,生成两条简短的社交媒体帖子——一条忠实概括原文,另一条改变一个重要事实。语言模型保留姓名、机构、数字和事件本身等锚点,然后颠倒核心说法。图片生成器制作一张图片来支持虚假版本。另一个模型则检查结果是否改变了事实、语言是否易读、图片是否真实、图片与文字是否匹配,以及格式是否适合社交媒体。

团队用4,507篇涵盖科学、健康和娱乐领域的免版权文章制作了这些成对帖子。这样一来,一个零散的问题就变成了可重复的测试。例如,一篇关于罗塞塔任务按计划软着陆撞击67P/丘留莫夫-格拉西缅科彗星的真实报道,可以被改成一则关于意外碰撞的虚假故事,同时仍然提到欧洲航天局、罗塞塔探测器和这颗彗星。那些让帖子显得有根有据的细节没有被删除;它们被用来承载谎言。

随后,研究人员测试了16个多模态模型,这些模型可以同时处理文字和图片。论文报告称,在这项基准测试中,GPT-5.5使用结构化提示后,平均F1值和准确率达到99.21。但这项基准测试来自一条生成流程,且只涵盖三个领域。模型识别出的可能是这条流程的习惯,而不是在核查说法的真实性。

Refer to caption
Figure 2: An agent framework for generating multimodal social media fake newsIn this paper, we propose a multi-agent framework to generate multimodal social media fake news grounded in real-world events. As shown in Fig. [1](https://arxiv.org/html/#S0.F1 "Figure 1 ‣ Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?"), the fake news post generated by our framework comprises a short story and a corresponding image that counter the true news narrative. For example, given a Nature news article about the Rosetta mission, our framework reverts the successful deliberate ”soft crash into Comet 67P” into a fabricated failure story of an ”unplanned collision”, while retaining key factual anchors such as ESA, Rosetta, and Comet 67P to ensure narrative plausibility and deceive readers. 出处: Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?(arXiv)

更好的核查应该是什么样

在一个社区Facebook群组里,有人可能会看到一条经过精心制作、配有官方风格图表的健康警告。可信的平台不会把图表、语气或图片当作证据。它会显示这条说法的来源,并在消息广泛传播之前将其送去核查。这需要同时检查文字和图片,包括确认一张真实图片是否被脱离语境地重复使用。

论文中的人工审查使用了四个相互独立的问题:文字在事实上是否准确?语言是否具有误导性?图片是否与文字相符?图片看起来真实吗?这些问题是有用的线索,却不能替代证据。作者说,他们的评估受到可用免版权材料的限制;出于伦理研究目的,代码和数据只会提供给完成注册的研究人员。更大的考验仍然是:当帖子来自新的生成器、提示词、传播活动,以及真实但被重复使用的图片时,检测系统能否继续发挥作用。

来源

Can Multimodal Large Language Models Generate and Detect Multimodal Social Media Fake News?