情报通信研究机构（NICT）
AI智能体的邮件测试始于攻击
在让AI智能体参与邮件工作之前，需要的不是展示它有多方便，而是通过测试衡量它在多大程度上会被敌对邮件攻破。情报通信研究机构（NICT）和MITRE将在隔离环境中举办一场竞赛，攻击那些能够读写邮件并与外部工具协作的智能体，赛程为24小时。如果智能体能够拒绝攻击，并管理好权限和操作记录，那么财务部门或许可以把发票邮件的分类工作交给它。
如果只是读取邮件，出现错误时人还能及时发现并制止。但如果把工作交给能够读取邮件、查询内部数据，甚至操作外部服务的AI智能体，它就可能在恶意邮件的指示下执行本不该执行的操作，或把应受保护的信息泄露到外部。导入这类系统的一方可能会在不了解哪些攻击有效、现有防护会在哪些地方失效的情况下，就把权限交给智能体。
生成内容的AI与执行任务的AI的区别
传统的生成式AI会根据用户的指示生成文章等内容。AI智能体则会跨越邮件、内部数据和外部服务执行处理。错误的判断可能直接导致信息泄露或未经授权的操作。
邮件是一个棘手的入口。因为文章和附件会从外部送达，里面很容易混入不可信的指示。仅仅确认功能是否能够运行，并不能衡量安全性。必须测试当攻击者把输入、权限和与外部工具的连接结合起来时，会发生什么。
在隔离环境中汇集攻击
情报通信研究机构（NICT）和MITRE将启动一项攻击负责邮件工作的AI智能体的竞赛“AI Breach Challenge”。首届竞赛为“AI Breach Challenge 2026: Email Agent Security”，计划于2026年12月16日至17日在美国弗吉尼亚州阿灵顿举行。竞赛时间为24小时。
参赛者将在主办方准备的隔离且受控的环境中，挑战能够读写邮件并与相关工具协作的智能体。参赛者将围绕设定好的多项任务，验证让智能体执行非预期操作，或使其访问受保护信息的攻击手法。
目标不只是找出攻击成功的案例。情报通信研究机构（NICT）和MITRE计划调查连接工具和信息时出现的弱点与失败模式，以及防御措施有效的场景和局限，并将其用于评估和防御技术。通过在相同条件下汇集攻击者的想法，可以复现弱点，也更容易进行比较。情报通信研究机构（NICT）已于2025年2月设立AI安全研究中心CREATE，今后还计划针对其他用途继续举办竞赛。
财务部门可以交给它的工作
如果这项工作持续下去，并获得可复现的攻击模式和测试方法，AI智能体就不再只是生成文章的软件，而会成为一种拥有权限、需要在导入前接受安全性检查的业务系统。仅凭看似合理的回答作为安全依据的评估方式，以及每次都由人确认邮件指示、附件和处理结果的运营方式，将越来越难以维持。
在财务部门，工作人员不必再逐封抄录发票邮件，而只需批准经过测试的智能体依据内部规定分类出的候选结果。只有当智能体能够拒绝恶意邮件的指示，并妥善管理权限和操作记录时，这样的场景才有可能实现。如果不能把发现的弱点反映到产品或组织的设置中，增长的就只会是关于攻击的知识。