能動的評価基盤で安全テストは終わらない

生成AIの安全性評価は、公開された問題集で一度点を取る試験から、変化する日本語圏のリスクを追い続ける運用へ移る必要がある。さくらインターネット、Preferred Networks、NICTは、2,000億パラメータのLLMなどを使い、危険な日本語プロンプトの作成と応答の自動評価を進める。判定の根拠と誤りを検証できれば、市役所の案内AIを更新後も同じ画面で点検できる。

自治体や企業が生成AIを仕事に使うとき、安全性の確認は一度では終わらない。あらかじめ用意したプロンプト集で点数を測る方法が中心だが、開発者がその問題集に合わせてモデルを調整すれば高得点を取れる。モデルが更新されたり、新しい詐欺や偽情報の手口が現れたりするたびに、日本の法令や商習慣に照らした確認を利用組織が自力でやり直す必要もある。

固定テストでは追えない変化

LLM（大規模言語モデル）は、同じモデルでも提供者の更新、接続する外部ツール、利用者の誘導方法によって振る舞いが変わる。安全性ベンチマークはモデル同士を比べたり、同じ試験を繰り返したりするには便利だ。しかし、公開された設問に合わせすぎていると、まだ知られていない失敗は測れない。

生成AIを業務で使う組織には、性能だけでなく、個人情報、説明責任、法令順守、サービスが止まったときの対応も求められる。日本語の制度や文化に沿った危険を、モデルの更新後も探し続ける仕組みが必要になる。

危険な質問を自ら作る評価基盤

さくらインターネット、Preferred Networks、情報通信研究機構（NICT）は、固定した問題集を一度試す代わりに、危険性の高い日本語プロンプトを自動で作り、LLMの答えを継続的に採点する「能動的評価基盤」を推論API基盤で運用する検討を始めた。評価結果から、モデルを改善するためのデータも作る。

NICTが開発した部品の一つ、WISDOM-CEは、LLMの答えを大量のWebページと照合する。記述同士の整合性や矛盾を調べ、ハルシネーション（もっともらしい誤情報）や偏りの可能性を探す。もう一つのWISDOM-ARは、危険なプロンプトを大量に自動合成する。差別的・攻撃的な表現や、犯罪・迷惑行為を助長する答えのリスクを、理由付きで判定する。

ただし、Web上の多数の記述と一致していることは、必ずしも真実を意味しない。Web自体の誤情報や、少数者の見解を退ける危険がある。自動評価の誤判定や偏りを誰がどう検証するかも、監査に使えるかを左右する。

更新後のAIを同じ画面で点検する

この仕組みが実用になれば、市役所の窓口担当者は、住民向け案内文を作るAIの更新後も、詐欺を助長する表現や日本の制度と矛盾する回答が増えていないかを、導入前と同じ画面で確かめられる。企業も、国内外のLLMを同じ運用環境で比べながら、問題を見つけて改善に戻せる。

さくらインターネットは来年度中の運用開始を目指し、AI Engine上のLLM群への適用を検討している。NICTによれば、現段階では一部の評価側面でプロトタイプが動き始めた段階である。評価プロンプトを更新し、判定の妥当性を持続的に確かめる方法が整って初めて、安全テストはモデル更新後も終わらない運用になる。

出典

情報通信研究機構「さくらインターネット、Preferred Networks、情報通信研究機構、生成AIを継続的に評価・改善する『能動的評価基盤』の社会実装に向けた取り組みを開始」