Datadog、生成AIアプリケーションの監視・改善・保護を支援する「LLM Observability」を正式リリース

Datadogは、オブザーバビリティとセキュリティの統合プラットフォームを提供する企業です。同社は本日、AIアプリケーション開発者や機械学習（ML）エンジニア向けに、大規模言語モデル（LLM）アプリケーションの効率的な監視、改善、保護を支援する「LLM Observability」の一般提供を発表しました。

LLM Observabilityは、企業が生成AIアプリケーションの本番環境への展開を加速し、確実に拡張することを可能にするソリューションです。

近年、あらゆる業界において、生成AI機能を費用対効果の高い方法でリリースしようと競争が激化していますが、実際に実装し本番稼動させるには、LLMチェーンの複雑さ、予測不可能性、セキュリティリスクなど、いくつかの課題が存在します。

Datadog LLM Observabilityは、これらの課題を克服し、お客様が安心して生成AIアプリケーションを展開・監視できるよう支援します。この新製品は、LLMチェーンの各ステップを可視化し、エラーや予期せぬレスポンスの根本原因を容易に特定します。また、ユーザーは、遅延やトークン使用量などの運用指標を監視して、パフォーマンスとコストを最適化することができます。さらに、トピックの関連性や有害性など、AIアプリケーションの品質を評価し、すぐに利用可能な品質と安全性の評価により、セキュリティとプライバシーのリスクを軽減するためのインサイトを得ることができます。

従来のツールやポイントソリューションとは異なり、Datadog LLM Observabilityは、プロンプトとレスポンスのクラスタリング、Datadogアプリケーションパフォーマンスモニタリング（APM）とのシームレスな統合、すぐに利用可能な評価と機密データのスキャン機能を提供し、生成AIアプリケーションのパフォーマンス、精度、セキュリティを強化すると同時に、データのプライベート性と安全性の維持を支援します。

Datadogの製品担当バイスプレジデントであるYrieix Garnier氏は次のように述べています。「LLMベースの新技術の採用が急がれていますが、あらゆる規模や業種の組織が、費用対効果が高く、エンドユーザーエクスペリエンスに悪影響を与えない方法で採用するのは難しいと感じています。Datadog LLM Observabilityは、チームのパフォーマンスの管理や理解、ドリフトやバイアスを検出し、ビジネスまたはエンドユーザーエクスペリエンスに重大な影響を与える前に問題を解決するための必要な優れた可視化機能を提供します。」

Datadog LLM Observabilityの主な機能

Datadog LLM Observabilityは、以下の機能により組織を支援します。

推測品質の評価: LLMアプリケーションの会話の品質と有効性（回答の失敗など）を可視化し、アプリのドリフトとエンドユーザーの全体的なエクスペリエンスを監視します。
根本原因の特定: 各ユーザーリクエストのエンドツーエンドのトレースを完全に可視化することで、LLMチェーンにおけるエラーや障害の根本原因を迅速に突き止めます。
コストとパフォーマンスの改善: OpenAI、Azure OpenAI、Amazon Bedrock、Vertex AIなど、すべての主要プラットフォームにわたるアプリケーションの主な運用メトリクスを統一ダッシュボードで効率的に監視し、パフォーマンスとコストの最適化を実現します。
セキュリティ脅威からの保護: Datadog Sensitive Data Scanner (https://www.datadoghq.com/ja/product/sensitive-data-scanner/) による内蔵のセキュリティおよびプライバシー・スキャナを使用して、アプリケーションを迅速なハッキングから保護し、個人情報、電子メール、IPアドレスなどの機密データの漏えいを防止します。

Datadog LLM Observabilityは、生成AIアプリケーションの開発と運用において、監視、改善、保護の面で重要な役割を果たすと期待されます。

Datadog LLM Observability：生成AIアプリケーションの信頼性とセキュリティを高める革新的なソリューション

Datadogが発表したLLM Observabilityは、生成AIアプリケーションの開発と運用において、大きな可能性を秘めたソリューションであると感じます。生成AIは近年急速に普及していますが、その複雑さゆえに、本番環境への導入や運用には多くの課題が伴います。LLM Observabilityは、これらの課題に対する包括的な解決策を提供することで、生成AIアプリケーションの信頼性とセキュリティを大幅に向上させると期待されます。

特に、LLMチェーン全体の可視化機能は、エラー発生時の原因究明を迅速化し、開発チームの負担軽減に役立つと考えられます。また、推測品質の評価やコスト・パフォーマンスの最適化機能は、生成AIアプリケーションの質を高め、ビジネスへの貢献度を高めることに繋がるでしょう。さらに、セキュリティ対策の強化は、生成AIアプリケーション特有の脆弱性に対する懸念を解消し、安全な運用を促進します。

Datadog LLM Observabilityは、生成AIアプリケーションの開発者や運用担当者にとって強力なツールとなり、生成AI技術の更なる発展と普及を加速させる役割を担うと期待されます。