借助主动评估平台，安全测试不会结束

生成式 AI 的安全性评估，需要从在公开题库上考一次分，转向持续追踪日语圈不断变化的风险。樱花互联网、Preferred Networks 和情报通信研究机构（NICT）正在利用 2,000 亿参数的大语言模型（LLM）等技术，推进危险日语提示词的生成和回答的自动评估。如果能够验证判定依据和错误，即使市政府的 안내 AI 更新后，也能在同一个界面上继续检查。

地方政府和企业在工作中使用生成式 AI 时，安全性确认不可能只做一次。目前主要做法是用事先准备好的提示词集测分，但如果开发者按照这套题库调整模型，模型就可能取得高分。每当模型更新，或出现新的诈骗、虚假信息手法时，使用组织还需要自行重新确认其是否符合日本的法律法规和商业惯例。

固定测试无法追踪变化

LLM（大语言模型）即使是同一个模型，也会因提供商的更新、连接的外部工具以及用户的引导方式不同而改变行为。安全性基准测试便于比较不同模型，也便于重复进行同一项测试。但如果模型过度适应公开的题目，就无法测出尚未被发现的失败。

在业务中使用生成式 AI 的组织，不仅需要关注性能，还需要处理个人信息、说明责任、遵守法律法规，以及服务中断时的应对。因此，有必要建立一种机制，在模型更新后仍持续寻找符合日本制度和文化背景的风险。

自动生成危险问题的评估平台

樱花互联网、Preferred Networks 和情报通信研究机构（NICT）开始研究在推理 API 平台上运行一种“主动评估平台”：不再只对固定题库进行一次测试，而是自动生成高风险的日语提示词，并持续为 LLM 的回答评分。评估结果还将用于生成改进模型的数据。

NICT 开发的组件之一 WISDOM-CE，会将 LLM 的回答与大量网页进行比对。它检查不同描述之间的一致性和矛盾，寻找出现幻觉（貌似可信的错误信息）和偏见的可能性。另一个组件 WISDOM-AR，则会自动大量合成危险提示词。它会带着理由判断带有歧视性、攻击性的表达，以及助长犯罪或扰民行为的回答所带来的风险。

不过，与网上大量描述相一致，并不一定意味着内容是真实的。这样做也可能受到网页本身的错误信息影响，或带来排斥少数群体观点的风险。谁、又该如何验证自动评估中的误判和偏见，也会决定这套机制能否用于审计。

在同一个界面检查更新后的 AI

如果这套机制能够投入实际使用，市政府窗口工作人员即使在制作面向居民的 안내文的 AI 更新后，也能在与引入前相同的界面上确认，助长诈骗的表达或与日本制度相矛盾的回答是否增加。企业也可以在同一个运行环境中比较国内外的 LLM，发现问题后再回到改进环节。

樱花互联网的目标是在下一财年内开始运行，并正在研究将其应用于 AI Engine 上的一系列 LLM。NICT 表示，目前仍处于部分评估方面的原型开始运行的阶段。只有在更新评估提示词，并建立持续确认判定是否合理的方法之后，安全测试才会变成一种在模型更新后也不会结束的运行机制。

来源

情报通信研究机构（NICT）《樱花互联网、Preferred Networks、情报通信研究机构（NICT）启动面向生成式 AI 持续评估与改进的“主动评估平台”社会落地的工作》