透過主動式評估平台，安全測試不會結束

生成式 AI 的安全性評估，必須從在公開問題集上考一次試並取得分數，轉向持續追蹤日語圈風險變化的運作方式。櫻花網路、Preferred Networks、情報通信研究機構（NICT）將使用 2,000億參數的 LLM 等技術，推進危險日語提示詞的生成與回應的自動評估。如果能驗證判定依據與錯誤，即使市公所的服務台 AI 更新後，也能在同一個畫面上進行檢查。

自治體或企業將生成式 AI 用於工作時，安全性的確認不會只做一次。目前主要做法，是利用事先準備好的提示詞集測量分數；但如果開發者配合那份問題集調整模型，就能取得高分。每當模型更新，或出現新的詐騙與假資訊手法時，使用組織也必須自行重新確認是否符合日本的法令與商業慣例。

固定測試無法追蹤的變化

LLM（大型語言模型）即使是同一個模型，也會因提供者的更新、連接的外部工具，以及引導使用者的方法而改變行為。安全性基準測試有助於比較不同模型，或重複進行相同的測試。然而，如果模型過度配合公開的題目，就無法測量尚未被發現的失敗。

在業務上使用生成式 AI 的組織，除了性能之外，也必須處理個人資料、說明責任、遵守法令，以及服務停止時的應對。這些組織需要一套機制，即使模型更新後，也能持續尋找符合日本語言制度與文化的風險。

自行生成危險問題的評估平台

櫻花網路、Preferred Networks、情報通信研究機構（NICT）開始研究，透過推論 API 基礎設施運作一套「主動式評估平台」，不再只對固定的問題集進行一次測試，而是自動生成危險性高的日語提示詞，持續為 LLM 的回答評分。評估結果也會用來製作改善模型所需的資料。

情報通信研究機構（NICT）開發的元件之一 WISDOM-CE，會將 LLM 的回答與大量網頁進行比對。它會檢查文字之間的一致性與矛盾，尋找產生幻覺（看似合理的錯誤資訊）或偏見的可能性。另一個元件 WISDOM-AR，則會自動大量合成危險提示詞。它會帶著理由，判定歧視性、攻擊性表達，以及助長犯罪或擾人行為的回答所帶來的風險。

不過，與網路上的大量描述一致，並不一定代表內容是真實的。這也可能帶來網路本身的錯誤資訊，或排斥少數者觀點的風險。自動評估的誤判與偏見由誰、以何種方式驗證，也會影響它能否用於稽核。

在同一個畫面上檢查更新後的 AI

如果這套機制能夠實際使用，市公所的服務台人員即使在製作居民用說明文字的 AI 更新後，也能在與導入前相同的畫面上確認，助長詐騙的表達或與日本制度矛盾的回答是否增加。企業也能在相同的運作環境中比較國內外 LLM，同時找出問題並回到改善流程。

櫻花網路以在下一個會計年度內開始運作為目標，正在研究將其應用於 AI Engine 上的 LLM 群組。情報通信研究機構（NICT）表示，目前仍處於部分評估面向的原型開始運作階段。只有在建立起更新評估提示詞，並持續確認判定妥當性的方法後，安全測試才會成為即使模型更新後也不會結束的運作方式。

來源

情報通信研究機構（NICT）「櫻花網路、Preferred Networks、情報通信研究機構（NICT）開始推動生成式 AI 持續評估與改善的『主動式評估平台』社會實踐」