バンドルおよびエクスプローラー機能

Databricks IDE拡張機能は、Visual Studio Code内で宣言的自動化バンドルの定義、展開、実行、ワークスペースファイルやUnityカタログカタログの探索を可能にする追加機能を提供します。

Databricks IDE拡張機能をインストールするには、「 Install the Databricks IDE extension」をご覧ください。

プロジェクトでの宣言型オートメーション バンドルのサポート

Databricks IDE拡張機能は、宣言的自動化バンドルプロジェクトに以下の機能を追加します:

  • Visual Studio Code UI を使用した宣言型オートメーション バンドルの簡単な認証と構成 ( AuthType プロファイルの選択を含む)。 Databricks IDE拡張の「認証設定」を参照してください。
  • Databricks拡張機能内の ターゲット セレクターで、バンドルターゲット環境間を素早く切り替えることができます。 「ターゲット デプロイ ワークスペースの変更」を参照してください。
  • 拡張機能内の バンドル内のオーバーライド ジョブのクラスタオプションは、クラスターのオーバーライドを簡単に可能にします。
  • バンドル リソース エクスプローラー ビューを使用すると、Visual Studio Code UI を使用してバンドル リソースを参照し、ローカルの Databricks Asset Bundle のリソースを 1 回のクリックでリモートの Azure Databricks ワークスペースにデプロイし、Visual Studio Code からワークスペース内のデプロイされたリソースに直接移動できます。 「バンドル リソース エクスプローラー」を参照してください。
  • バンドル変数ビュー。Visual Studio Code UI を使用してバンドル変数を閲覧および編集できます。 「バンドル変数」を参照してください。

バンドル リソース エクスプローラー

Databricks IDE拡張機能の バンドルリソースエクスプローラー ビューは、プロジェクトのバンドル構成におけるリソース定義を用いて、パイプラインデータセットやそのスキーマを含むリソースを表示します。 また、リソースのデプロイと実行、パイプラインの部分的な更新の検証と実行、パイプラインの実行イベントと診断の表示、リモート Azure Databricks ワークスペース内のリソースへの移動を行うこともできます。 バンドル構成リソースの詳細については、「リソース」を参照してください。

たとえば、単純なジョブ定義を指定します。

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

拡張機能のバンドル リソース エクスプローラー ビューには、ノートブック ジョブ リソースが表示されます。

バンドル リソース エクスプローラー

ジョブをデプロイして実行する

バンドルをデプロイするには、クラウド (バンドルのデプロイ) アイコンをクリックします。

バンドルをデプロイする

ジョブを実行するには、バンドル リソース エクスプローラー ビューで、ジョブの名前を選択します。この例では [My Notebook Job] です。 次に、プレイ ([Deploy the bundle and run the resource] (バンドルをデプロイしてリソースを実行する)) アイコンをクリックします。

バンドルをデプロイしてリソースを実行する

実行中のジョブを表示するには、バンドル リソース エクスプローラー ビューでジョブ名を展開し、[実行状態] をクリックして、リンク ([Open link externally] (リンクを外部で開く)) アイコンをクリックします。

ジョブ リンクを外部で開く

パイプラインの問題を検証して診断する

パイプラインの場合は、パイプラインを選択し、チェック (バンドルをデプロイしてパイプラインのを検証) アイコンを選択することで、検証と部分的な更新をトリガーできます。 実行のイベントが表示され、Visual Studio Code PROBLEMS パネル内でエラーを診断できます。

バンドルをデプロイし、パイプラインの を検証します

パイプライン実行イベント

バンドル変数

Databricks IDE拡張機能の バンドル変数ビュー ビューでは、バンドル構成で定義されたカスタム変数や関連設定が表示されます。 バンドル変数ビューを使用して、変数を直接定義することもできます。 これらの値は、バンドル構成ファイルに設定された値をオーバーライドします。 カスタム変数の詳細については、「カスタム変数」を参照してください。

たとえば、拡張機能のバンドル変数ビュー ビューには、次のように表示されます。

バンドル変数ビュー

このバンドル構成で定義された my_custom_var 変数の場合:

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

ワークスペース ファイル システム

Databricks IDE拡張パネルのWorkspace File Systemビューでは、Visual Studio Codeやカーソルで直接Databricksのワークスペースファイルを閲覧・開くことができます。 ノートブックをクリックして Databricks で開きます。 また、拡張機能ウィンドウのコントロールを使用して、ファイルやフォルダーを作成したり、IDE からワークスペースにファイルをアップロードしたりすることもできます。

Unity カタログ

DatabricksのIDE拡張ペインの Unity Catalog ビューには、Databricksのカタログが表示されます。 この拡張機能ビューのコントロールを使用して、Databricks でカタログ、スキーマ、またはその他のデータ資産を開きます。

  • Last updated on