Microsoft Fabric Spark 監視は、実行中の Spark アプリケーションの進行状況と状態の監視、過去の Spark アクティビティの参照、パフォーマンスの分析と最適化、障害のトラブルシューティングを容易にするための豊富な機能を組み込んだ Web UI ベースのエクスペリエンスを提供するように設計されています。 Spark アプリケーションの詳細を参照、監視、および表示するには、複数のエントリ ポイントを使用できます。
監視ハブ
Monitor ハブは、項目間で Spark アクティビティを参照するための一元化されたポータルとして機能します。 一目で、ノートブックからトリガーされた進行中のSparkアプリケーション、Sparkジョブ定義、パイプラインを確認できます。 また、さまざまな条件に基づいて Spark アプリケーションを検索およびフィルター処理し、ドリルダウンして Spark アプリケーションの Spark 実行の詳細を表示することもできます。 Fabric ポータルで、ナビゲーション ウィンドウから [モニター] を選択して、モニター ハブを開きます。
アイテムの最近の実行
特定のアイテムで作業する場合、アイテムの [最近の実行] 機能を使用すると、アイテムの現在および最近のアクティビティを参照し、提出者、状態、期間、および自分や他のユーザーによって送信されたアクティビティのその他の情報に関する分析情報を得ることができます。
Notebook のコンテキスト監視
Notebook のコンテキスト監視では、Spark ジョブの作成、監視、デバッグを 1 か所で行える機能が提供されます。 Sparkジョブの進行状況を監視し、実行タスクやエグゼキュータを閲覧し、ノートブックのセルレベルでSparkログにアクセスできます。 Sparkアドバイザーはノートブックにも組み込まれており、コードやセルのSpark実行に関するリアルタイムアドバイスを提供し、エラー分析を行います。
Spark ジョブ定義のインライン監視
Spark ジョブ定義のインライン監視機能を使用すると、Spark ジョブ定義の送信と実行の状態をリアルタイムで表示したり、Spark ジョブ定義の過去の実行と構成を表示したりできます。 「Spark アプリケーションの詳細」ページに移動して、詳細を表示できます。
パイプライン Spark アクティビティのインライン監視
パイプラインSparkアクティビティのインラインモニタリングには、ノートブックおよびパイプライン内のSparkジョブ定義アクティビティに深いリンクが組み込まれています。 Sparkアプリケーションの実行詳細、該当するノートブックおよびSparkジョブ定義のスナップショットを閲覧でき、トラブルシューティングのためにSparkログにアクセスできます。 Spark アクティビティが失敗した場合、インライン エラー メッセージは Pipeline Spark アクティビティ内でも使用できます。