企業の生成AI利用を安全に監視する新ツール「Citadel Radar」の全貌

企業の生成AI利用を安全に監視できる新たなツール「Citadel Radar」

株式会社Citadel AI（代表取締役：小林裕宜）が、生成AIを用いたアプリケーションのリスク評価、検知、制御を実現する新たなファイアウォール・モニタリング製品「Citadel Radar（シタデル・レーダー）」の提供を開始しました。これにより、企業は生成AIアプリケーションをより安全に利用できるようになります。

生成AIの利用拡大と新たな課題

企業における生成AIの活用は急速に広がっていますが、従来のITシステム監視手法はこの新たな技術には適用できません。ITシステムの監視はエラー率や可用性、障害状況を確認するものでしたが、生成AIアプリケーションでは、アプリケーションとユーザー間のやり取りが業務上適切であるか、リスクがないかを確認する必要があります。

Citadel Radarの特長

Citadel Radar は生成AIアプリケーション特有の課題に対応し、組織横断的なAIガバナンスを実現するための強力なツールです。アプリケーションのプロンプトやレスポンスを評価メトリクスに基づいて判定し、不適切な入出力を検知・ブロックする機能を持っています。これにより、企業は常に安全な業務環境を保持できます。

非技術者を含む多様な関係者との協力

従来のITモニタリングは主に技術者によって行われていましたが、生成AIアプリケーションの運用には開発部門だけでなく、事業部門やリスク管理部門、コンプライアンス部門など多様な関係者が関与します。Citadel Radarは、これらの部門が共通の画面でリスク状況を確認できる仕組みを提供し、全社的な共通言語を形成します。

リスク評価のためのビルトインメトリクス

Citadel Radar には、AIセーフティガイドラインや各種フレームワークを基にしたビルトインメトリクスが搭載されています。これにより企業は独自に評価基準を一から整備しなくても、一般的なAIリスク観点に基づいたモニタリングをすぐに開始できます。機密情報や不適切な表現の確認など、重要なリスクを継続的に評価します。

入出力のリアルタイム評価

このツールは、生成AIアプリケーションから送信される入力や出力のログをAPI経由で受け取り、リアルタイムで評価にかけます。問題のある入出力は即座にブロックされ、または事後確認として記録され、リスクに応じた対応が可能です。このため、企業は柔軟にリスクへのアプローチを変えることができます。

データの可視化と通知機能

Citadel Radarのトラフィックページでは、アプリケーションのログ、評価結果、リスク状況を一元管理できます。また、一定のリスクが増加した場合に関係者へ迅速にアラートメールが通知される機能もあります。

継続的な改善サイクルの実現

累積された検知結果やリスク傾向は、他の生成AIアプリケーション評価ツール「Citadel Lens」と連携することで、運用モニタリングとテストの間で継続的な改善サイクルを作り上げることが可能です。

株式会社Citadel AIについて

Citadel AIは「信頼できるAI」の社会実装を目指す日本発のグローバルスタートアップです。インターナショナルなチームが開発をリードし、生成AIのライフサイクル全体をサポートする独自のAIガバナンスツールを提供しています。国内外で高い評価を得ているこの企業は、AIの安全な利用を実現し続けています。