Datadog Data Jobs Monitoring Spark

Datadog、データ処理におけるジョブ監視とトラブルシューティングを最適化する新製品発表

オブザーバビリティとセキュリティの統合プラットフォームを提供するDatadogは、データ処理におけるジョブの監視とトラブルシューティングを最適化する新製品「Data Jobs Monitoring」の一般提供を発表しました。

この新製品により、データプラットフォームチームやデータエンジニアは、データパイプラインのあらゆる場所で問題のあるSparkやDatabricksのジョブを検出し、失敗したジョブや長時間稼働しているジョブを迅速に修正し、過剰にプロビジョニングされたコンピューティングリソースを最適化してコストを削減できるようになります。

Data Jobs Monitoringは、最適化と信頼性向上が必要な特定のジョブを即座に表示します。また、チームはジョブの実行トレースをドリルダウンできるため、ジョブのテレメトリをクラウドインフラストラクチャに関連付け、迅速にデバッグすることができます。

Rhythm Energy 社のエンジニアリング責任者である Matt Camilli 氏は、Data Jobs Monitoringによってデータワークロードを他のアプリケーションやインフラストラクチャと一元管理できるようになり、スケーリングしているプラットフォームに対する信頼性が劇的に向上したと述べています。その結果、リアルタイムアラートの設定と失敗したジョブの根本原因の特定が容易になったため、彼のチームでは Databricks におけるジョブの失敗を 20% 早く解決できるようになったとのことです。

Datadogの製品担当バイスプレジデントであるMichael Whettenは、「データパイプラインに障害が発生すると、データ品質が損なわれるとともに利害関係者の信頼も損なわれ、意思決定が遅くなります。長期にわたるジョブはコストの急上昇につながるため、最適なリソースをプロビジョニングする方法を理解することはチームにとって非常に重要です。」と述べています。

Data Jobs Monitoringは、データプラットフォームエンジニアがデータ品質を改善し、パイプラインを最適化し、コスト削減の優先順位を決定できるよう、最大かつ最もコストのかかるジョブを完全に可視化することで、チームの作業を支援します。

Data Jobs Monitoringの主な機能:

ジョブの失敗やレイテンシの急増を検出
エラーとなったジョブを特定し、迅速に解決
* コスト削減の機会を特定

Data Jobs Monitoringの一般提供が開始されました。詳細はこちらをご覧ください: https://www.datadoghq.com/ja/product/data-jobs-monitoring/

Datadogについて

Datadogは、クラウドアプリケーション向けのオブザーバビリティおよびセキュリティの統合プラットフォームを提供しています。Datadogの SaaSプラットフォームは、インフラストラクチャのモニタリング、アプリケーションパフォーマンスモニタリング、ログ管理、リアルユーザーモニタリング、その他多くの機能を統合および自動化し、お客様のテクノロジースタック全体に統合されたリアルタイムのオブザーバビリティとセキュリティを提供します。Datadogは、あらゆる規模の企業、幅広い業界で使用され、デジタルトランスフォーメーションとクラウド移行を可能にし、開発、運用、セキュリティ、ビジネスチーム間のコラボレーションを促進し、アプリケーションの市場投入までの時間と問題解決までの時間を短縮し、ユーザーの行動を理解し、主要なビジネス指標をトラッキングします。

Datadogの「Data Jobs Monitoring」は、データ処理における課題を解決する革新的なツール

Datadogが発表した「Data Jobs Monitoring」は、データ処理におけるジョブの監視とトラブルシューティングを効率化し、データプラットフォームチームの業務を大幅に改善する可能性を秘めています。

従来、データパイプラインのトラブルシューティングは、複雑で時間のかかる作業でした。ジョブの失敗原因を特定し、修正するには、さまざまなログや監視ツールを調べ、関係するデータを分析する必要がありました。さらに、ジョブのパフォーマンスやリソース使用状況を把握することも困難でした。

しかし、「Data Jobs Monitoring」は、これらの課題を解決するために設計されています。ジョブの実行状況を一元的に監視し、異常な挙動を検出することで、トラブルシューティングを迅速化します。また、ジョブのパフォーマンスやリソース使用状況の詳細な分析を提供することで、最適化のための情報を提供します。

特に、ジョブの失敗を 20% 早く解決できるようになったというRhythm Energy 社の事例は、このツールの効果を示すものです。データ処理の効率化は、ビジネス全体の効率性向上に繋がり、競争優位性を確立する上で重要な要素となります。

「Data Jobs Monitoring」は、データ処理に携わるあらゆる企業にとって、不可欠なツールになる可能性を秘めていると言えるでしょう。