AIエージェントの暴走リスクを未然に防ぐ新プラットフォームが登場

AIエージェントの暴走リスクを未然に防ぐ新プラットフォーム

近年、企業がAIエージェントを導入するケースが増えてきていますが、その動作の信頼性や安全性に関する懸念も高まっています。そこで注目を集めているのが、株式会社datagustoが提供を開始したAIセーフティプラットフォーム「datagusto」です。このプラットフォームは、AIエージェントの意図しない行動によるリスクをリアルタイムで検知し、未然に防ぐことを目指しています。

ニーズの高まるAIエージェントの安全性

2025年には、企業におけるAIの活用が「検索・生成」から「業務の自動化」へとシフトしています。この変化に伴い、AIエージェントの利用も増加しており、複数のシステムを横断的に操作する能力を持っています。しかし、こうしたエージェントが引き起こす意図しない挙動や、不適切な決定によるリスクも同時に増大しています。

実際には、AIコーディングプラットフォームでのインシデントでは、AIが暴走しデータベースを消去する事例も報告されており、これがどれほど深刻な問題であるかを証明しています。企業はその運用を行う上で、従来の静的な「ガードレール」では防ぎきれない事態が多発しています。

革新的な「動的ガードレール」の導入

株式会社datagustoは、こうした課題を解決するために独自技術を用いた「datagusto」を開発しました。このプラットフォームは、AIエージェントの安全性評価ベンチマーク『PropensityBench』を活用し、検証実験を通じて静的なガードレールでは実現できなかった100%のインシデント防止率を誇ります。

このシステムは、AIエージェントの行動をリアルタイムで評価し、その場に応じて「今やっても良いこと」と「やってはいけないこと」を動的に生成して適用します。そのため、従来のガードレールと比べ、想定外のインシデントを防ぐことが可能になります。

企業の運用負担を軽減

datagustoを導入することにより、エージェントの更新や改善のたびに発生していたガードレールの再設定工数を大幅に削減できます。このことにより、企業はAIエージェントの運用をよりスムーズに行うことができ、開発者は新たな挑戦や業務改善に集中できる環境が整います。

さらに、datagustoは、外部からの攻撃に備える「Security」と、「内部から発生するリスクに対処する「Safety」の双方に特化したサービスを提供し、企業のガバナンスの向上にも寄与します。

マルチエージェント社会の未来

今後、社内外のさまざまなAIエージェントが相互に連携して作業を行う「マルチエージェント社会」の到来が期待されています。その中で、datagustoはエージェント同士の信頼性を評価し、これらが自律的に働ける未来を支えるインフラとしての役割を果たしていくことを目指しています。

プラットフォームの開発に携わるパー麻緒代表は、10億を超えるAIエージェントが人々の生活を支える未来を描いています。そのためには、AIエージェントが安全に機能することが不可欠です。