情報通信研究機構（NICT）
AI 代理人的電子郵件測試，從攻擊開始
在讓 AI 代理人處理電子郵件工作之前，需要的不是展示便利性，而是測試它在對抗性電子郵件下究竟會被破壞到什麼程度。情報通信研究機構（NICT）與 MITRE 將舉辦一項為期 24 小時的競賽，在隔離環境中攻擊能讀寫電子郵件並與外部工具協作的代理人。如果代理人能拒絕攻擊、妥善管理權限與操作記錄，會計部門或許就能把發票電子郵件的分類工作交給它。
如果只是讀取電子郵件，出了錯還能由人發現並制止。但如果把工作交給能讀取電子郵件、查詢公司內部資料，甚至操作外部服務的 AI 代理人，它可能會在惡意電子郵件的指示下執行原本不該做的處理，或把應受保護的資訊傳到外部。導入的一方將在不了解哪些攻擊有效、對策會在哪裡失效的情況下，把權限交給代理人。
生成內容的 AI 與執行工作的 AI 有何不同
傳統的生成式 AI 會依照使用者的指示，生成文章等內容。AI 代理人則會跨越電子郵件、公司內部資料與外部服務執行處理。錯誤的判斷可能直接導致資訊外洩或未經授權的操作。
電子郵件是一個棘手的入口。因為文章或附件會從外部送達，很容易混入不可信的指示。光是確認功能是否能運作，無法測量安全性。有必要測試：當攻擊者把輸入、權限與外部工具的連線結合起來時，會發生什麼事。
在隔離環境中集中進行攻擊
情報通信研究機構（NICT）與 MITRE 將成立攻擊負責電子郵件工作的 AI 代理人的競賽「AI Breach Challenge」。第一屆為「AI Breach Challenge 2026: Email Agent Security」，預計於 2026 年 12 月 16 日至 17 日在美國維吉尼亞州阿靈頓舉行。競賽時間為 24 小時。
參賽者將在主辦方準備的隔離、受控環境中，挑戰能讀寫電子郵件並與相關工具協作的代理人。競賽將以設定好的多項工作為對象，驗證讓代理人執行非預期動作，或使其存取受保護資訊的攻擊手法。
目標不只是找出攻擊成功的案例。情報通信研究機構（NICT）與 MITRE 計畫調查連接工具與資訊時的弱點及失敗模式，以及防禦措施有效的情境與限制，並將其用於評估與防禦技術。透過在相同條件下蒐集攻擊者的想法，可以重現弱點，也更容易進行比較。情報通信研究機構（NICT）已於 2025 年 2 月設立 AI 安全研究中心 CREATE，今後也預計在其他用途上持續舉辦競賽。
會計部門可以交付的工作
如果這項工作持續下去，並取得可重現的攻擊模式與測試方法，AI 代理人就不再只是生成文章的軟體，而會成為一種在導入前就必須以具備權限的業務系統身分接受安全性檢查的對象。只以看似合理的回應作為安全依據的評估方式，以及每次都由人確認電子郵件指示、附件與處理結果的作業方式，將越來越難以維持。
在會計部門，負責人不必逐封抄錄收到的發票電子郵件，只需核准經過檢測的代理人依照公司內部規則分類出的候選項目。只有在代理人能拒絕惡意電子郵件的指示，並妥善管理權限與操作記錄時，才能描繪出這樣的情景。如果無法把發現的弱點反映到產品或組織的設定中，最後只會讓攻擊知識率先增加。