生成AIの安全性を確保する新たな取り組み、Athena Firewallの導入事例

製造業における人材不足やスキル継承の難しさが背景にあり、効率的な業務進行が求められています。特に最近では、生成AIの導入が進む中で、そのセキュリティリスクが懸念されるようになりました。本記事では、オムロン株式会社の「プログラム検索要約サービス」に対し、Athena Technologiesが提供するAIセキュリティ&ガバナンスツール「Athena Firewall」の導入について、レッドチーミングを通じて確認された有効性について解説します。

導入の背景と課題

製造分野では、生成AIが急速に導入されつつあるものの、そのセキュリティリスク、例えばプロンプトインジェクションによる不正操作などが新たな課題として浮上しています。多くの企業がその対策の重要性は認識しているものの、具体的なリスクの明確化や実施における手法が不明瞭でいるのが現状です。オムロンも例外ではなく、彼らの開発する「プログラム検索要約サービス」には、セキュリティリスクが伴うことから、強固な対策の必要性を感じていました。

Athena Firewallとは

Athena Technologiesは、プライベートAIの開発を専門とする企業であり、「Athena Firewall」はセキュリティが求められる環境に特化したAIガバナンスツールです。このツールは、生成AIを組み込んだシステムで発生する特有のセキュリティリスク、例えばプロンプトインジェクションや機密情報漏洩を検知・抑制します。日本語の文脈を考慮した評価を行い、低遅延で動作する設計が特徴です。これにより、既存のシステムに対する影響を最小限に抑えながら導入が可能です。

実施内容と検証プロセス

今回の取り組みでは、まずリスクシナリオと攻撃シナリオを設計し、実際に潜むセキュリティ上のリスクを洗い出しました。その後、疑似攻撃を行い、Athena Firewallの有無でセキュリティリスクを比較検証。具体的には、攻撃シナリオを元にした攻撃を行い、Athena Firewallを導入したケースとしないケースで検証しました。

検証結果

レッドチーミングを通じて確認された脆弱性は、以下の3つに分類されました：

- 不適切出力・内部情報漏洩

特定の入力により、不適切な情報を生成するケースが確認されました。

- 入力汚染・使用汚染

悪意のある記述が混入された場合、利用者が意図しない変化を引き起こす事例がありました。

- 大量入力への耐性

エラー発生時の情報処理に改善の余地が見つかりました。これらの結果から、Athena Firewallの導入前後でセキュリティリスクが大きく低減されたことが確認されています。

今後の展望

今回のPoC検証を経て、AthenaはオムロンのサービスへのAthena Firewallの正式導入に向けて進行中です。生成AI技術の進展が続く中、そのセキュリティリスクへの対処はますます重要になります。Athenaは、今回得られた知見を基に、他企業への支援を継続して行う所存です。

会社概要

株式会社Athena Technologies は、セキュリティ要件が高い組織向けにプライベートAI基盤を提供するAIスタートアップです。金融、インフラ、防衛産業など、多様な分野でのAIソリューションの提供を目指しています。これからのAI社会において、セキュリティの強化は欠かせない要素となります。Athenaは安全性の確保に向けた取り組みを通じて、より良い未来を創造していきます。