Citadel AI、生成AIアプリの業務利用を見守るモニタリング製品「Citadel Radar」提供開始

従来のITシステム監視は、エラー率や可用性など技術的な健全性を確認することが中心でした。しかし、生成AIアプリケーションでは、ユーザーとのやり取りそのものが業務上適切か、リスクを含んでいないか、期待される価値を発揮しているかを継続的に確認する必要があります。そのため、開発部門だけでなく、事業部門やリスク管理部門、コンプライアンス部門など、非技術者を含む複数の関係者が運用に関与します。Citadel Radarは、こうした分散した関係者が共通の画面でリスク状況や検知傾向を把握できる仕組みを提供し、組織としての生成AI利用状況の継続的な把握を支援します。

Citadel Radarには、AIセーフティガイドラインや各種フレームワークを参照して設計されたビルトインメトリクスが搭載されています。機密情報や個人情報の開示、不適切・危険な指示、偏見や差別につながる表現など、一般的なAIリスク観点に基づいたモニタリングをすぐに開始できます。また、自社固有の業務ルールや社内規程、業界ガイドラインに合わせて、自然文で評価基準を定義できるカスタムメトリクスの作成も可能です。これにより、技術者だけでなく、業務やリスク管理に関わる担当者の知見を反映した評価設計を支援します。

Citadel Radarは、生成AIアプリケーションから送信される入力ログ・出力ログをAPI経由で受け取り、評価メトリクスに基づいて判定します。高速かつ日本語の業務文脈にも対応した評価により、実際の業務利用の中で発生するリスクをリアルタイムに検知・制御できます。判定結果に応じて、問題のある入出力をブロックする「Block」、または事後確認対象として記録する「Flag」を選択でき、アプリケーションの用途や組織の運用ポリシーに応じて柔軟に使い分けられます。トラフィックページでは、個別ログの詳細やAIによる問題箇所の解説を確認でき、閾値に応じたアラートメール通知も可能です。さらに、蓄積された検知結果やリスク傾向は、既存の評価・テストツール「Citadel Lens」と連携することで、本番運用前の事前評価と本番運用後のモニタリングをつなぐ継続的な改善サイクルに活用できます。

A. 生成AIアプリの入力と出力を自動評価し、機密情報の漏洩や不適切な指示などのリスクを検知・ブロック・可視化するファイアウォール・モニタリング製品です。

A. エラー率や可用性といった技術面だけでなく、AIとユーザーのやり取り内容が業務上適切かどうかを評価する点が異なります。

A. はい、自然文で評価基準を定義できるカスタムメトリクス機能により、自社の業務ルールやコンプライアンス要件に合わせた評価が可能です。

• https://citadel-ai.com/ja/
• https://citadel-ai.com/ja/news/

O!Productニュース編集部からのコメント

プロンプトとレスポンスを常時評価してブロックまでできるのは、生成AIの業務導入に必須の機能ですね。非技術者のリスク管理部門も巻き込めるのが実用的です。

引用元：PR TIMES