New Relic、オブザーバビリティプラットフォーム「New Relic」とNVIDIA NIM統合で生成AI導入を加速

New RelicとNVIDIA NIMの統合が実現する生成AI導入の加速

デジタルビジネスにオブザーバビリティ（可観測性）プラットフォームを提供するNew Relicは、オブザーバビリティプラットフォーム「New Relic」とNVIDIA NIM推論マイクロサービスを統合しました。この統合により、生成AIアプリケーションの開発、デプロイ、監視の複雑性とコストを削減し、企業のAI導入を加速します。

New Relic AI Monitoringは、NVIDIA NIMで構築されたアプリケーションのAIスタック全体を包括的に可視化することで、データセキュリティを確保しながら、AIアプリケーションの配信を加速します。これは、NVIDIA NIMのセルフホスト型モデルの堅牢なセキュリティ機能と操作性を補完するものです。

オブザーバビリティが重要な理由

企業は、デジタル体験や生産性の向上、さらには収益拡大のために生成AIの導入を加速させています。しかし、迅速な導入や短期間での投資収益化は、企業にとって市場優位性を確保するために不可欠であり、そのカギを握るのがオブザーバビリティです。

オブザーバビリティは、サービス、インフラ、AIレイヤーにわたるAIアプリケーションスタックの全体的なリアルタイムビューを提供し、効率的で信頼性と費用対効果の高い運用を可能にします。

New Relic CEO Ashan Willy氏のコメント

「今日の超競争市場において、AI投資の収益化を何年も待つ余裕のある企業はありません。この課題を解決するのが、AIスタック全体の可視性を提供するオブザーバビリティです。当社はAIオブザーバビリティのパイオニアとして、自社プラットフォームを拡張し、NVIDIA NIMで構築されたAIアプリとの連携を実現させました。NVIDIAのAI技術と当社のオブザーバビリティおよびAPMに対する専門性を活用することで、企業はAI競争で優位に立つことができるでしょう」

NVIDIA AIソフトウェア担当ディレクター Amanda Saunders氏のコメント

「生成AIの導入競争が加熱する中、NVIDIA NIMは、企業が迅速に本番環境にアプリケーションを導入するのに役立つでしょう。New RelicがNVIDIA NIMと統合されたことで、ITチームや開発チームは、運用に関するインサイトをすばやく観測してこれに対応し、AIアプリケーションを最適化することができるようになるでしょう」

AI Monitoringの主な機能とユースケース

AIスタック全体の可視化： NVIDIA GPUベースのインフラ、AIレイヤー、レスポンス品質、トークンカウント、APMゴールデンシグナルなど、アプリの全体的なビューで問題を迅速に検出
すべてのレスポンスの詳細な追跡：バイアス、有害性、ハルシネーションのようなパフォーマンスと品質に関する問題をAIレスポンスのライフサイクルを追跡することにより解決
モデルインベントリ： NVIDIA NIM推論マイクロサービス全体にわたる主要メトリクスを一元的に追跡することで、モデル由来のパフォーマンス、エラー、コストに関する問題を容易に特定
モデル比較：本番環境で稼働するNVIDIA NIM推論マイクロサービスのパフォーマンスを単一のビューで比較し、インフラやユーザーのニーズに応じたモデル選択を最適化
GPUの詳細なインサイト： GPU使用率、温度、パフォーマンス状況のような重要な高速コンピューティングメトリクスを分析し、コンテキストを理解した上で、問題を迅速に解決
強化されたデータセキュリティ： NVIDIAのセルフホスト型セキュリティの利点に加え、New RelicではAIのリクエストとレスポンスから機密データ（PII）の監視を除外することが可能

New Relicの60以上のAIインテグレーションエコシステム

New Relicは、NVIDIAのAIOpsパートナーエコシステムに新たに加わり、NVIDIA AIの高速コンピューティングを活用し、オブザーバビリティとAIを融合することで、IT業務を合理化し、機械学習と生成AIのアシスタントであるNew Relic AIによるイノベーションを加速させます。New Relicは、NVIDIA GPUやNVIDIA Triton Inference Serverソフトウェアなど、60以上のAIインテグレーションを通じて、最も幅広いオブザーバビリティソリューションを提供しています。