Sviluppare codice pipeline nell'ambiente di sviluppo locale

È possibile creare Python codice sorgente della pipeline nell'ambiente di sviluppo integrato preferito (IDE), eseguirlo localmente per il test, quindi convalidare, distribuire ed eseguire gli aggiornamenti nell'area di lavoro Azure Databricks senza uscire dall'ambiente locale.

Le pipeline di Lakeflow sono un’estensione delle pipeline dichiarative di Apache Spark™. Il codice che usa solo le API dichiarative di Apache Spark viene eseguito sia in locale che in Azure Databricks, ma il codice che usa funzionalità univoche per le pipeline lakeflow, ad esempio AUTO CDC e aspettative, viene eseguito solo su Azure Databricks. Per le differenze tra le funzionalità, vedere riferimento del linguaggio Python per le pipeline Lakeflow.

Per lo sviluppo interattivo e il test nell'area di lavoro Azure Databricks, usare l'editor delle pipeline di Lakeflow. Vedere Sviluppare ed eseguire il debug di pipeline ETL con l'editor delle pipeline di Lakeflow.

Scrivere codice della pipeline con supporto dell'IDE

Scrivere codice della pipeline usando il pyspark.pipelines modulo, importato come dp:

from pyspark import pipelines as dp

Poiché il modulo fa parte di Apache Spark, l'IDE fornisce il controllo della sintassi, il completamento automatico e il controllo del tipo durante la scrittura. Il codice delle pipeline dichiarative di Apache Spark viene in genere eseguito senza modifiche in Azure Databricks. L'esecuzione dello stesso comando di importazione in una pipeline Lakeflow importa la versione Azure Databricks di pipelines. Per il riferimento completo del linguaggio Python per Lakeflow pipelines, vedere Riferimento del linguaggio Python per Lakeflow pipelines.

Eseguire pipeline in locale per i test

È anche possibile eseguire pipeline in locale per sviluppare e testare il codice prima di eseguirlo in Azure Databricks. Usare l'interfaccia della spark-pipelines riga di comando per inizializzare, convalidare ed eseguire una pipeline con Apache Spark locale. Vedere la Guida alla programmazione di pipeline dichiarative Spark nella documentazione di Apache Spark.

Non è possibile eseguire o testare funzionalità specifiche per le pipeline Lakeflow in locale. Questo include aspettative e AUTO CDC funzioni.

Eseguire pipeline in Azure Databricks dall'ambiente locale

Usare il databricks pipelines gruppo di comandi per convalidare, distribuire ed eseguire gli aggiornamenti della pipeline nell'area di lavoro, direttamente dal terminale:

databricks pipelines init      # scaffold a pipeline project
databricks pipelines dry-run   # validate the pipeline graph without publishing data
databricks pipelines deploy    # deploy the project to your workspace
databricks pipelines run       # run an update

Gli aggiornamenti della pipeline vengono eseguiti nell'area di lavoro Azure Databricks, non nel computer locale, usando il calcolo configurato per la pipeline. Questi comandi sono interoperabili con i comandi bundle di Declarative Automation Bundles, quindi è possibile iniziare con un progetto semplice e adottare la configurazione dei bundle e le pratiche CI/CD man mano che cresce. Per installare e configurare l'interfaccia della riga di comando, vedere Installare o aggiornare l'interfaccia della riga di comando di Databricks. Per informazioni di riferimento sul comando completo, vedere pipelines gruppo di comandi. Per una procedura dettagliata, vedere Sviluppare pipeline con bundle di automazione dichiarativa.

Sincronizzare il codice della pipeline dall'IDE a un'area di lavoro

La tabella seguente riepiloga le opzioni per la sincronizzazione del codice sorgente della pipeline tra l'IDE locale e un'area di lavoro Azure Databricks:

Strumento o modello Dettagli
Databricks CLI (gruppo di comandi pipelines) Usare i databricks pipelines comandi per distribuire ed eseguire un progetto di pipeline dall'ambiente locale. Vedere pipelines gruppo di comandi.
Pacchetti di automazione dichiarativa Usa i pacchetti di automazione dichiarativa per distribuire asset di pipeline, che spaziano da un singolo file di codice sorgente alle configurazioni per molteplici pipeline, processi e file di codice sorgente. Vedere Convertire una pipeline in un progetto di bundle.
Estensione Databricks per Visual Studio Code Azure Databricks offre un'integrazione con Visual Studio Code che include una facile sincronizzazione tra l'IDE locale e i file dell'area di lavoro. Questa estensione fornisce anche strumenti per l'uso di bundle di automazione dichiarativa per distribuire asset di pipeline. Vedere estensione Databricks per Visual Studio Code.
File dell'area di lavoro È possibile usare i file dell'area di lavoro di Databricks per caricare il codice sorgente della pipeline nell'area di lavoro di Databricks e quindi importarlo in una pipeline. Vedere Che cosa sono i file dell'area di lavoro?.
Cartelle Git Le cartelle Git consentono di sincronizzare il codice tra l'ambiente locale e Azure Databricks'area di lavoro usando un repository Git come intermediario. Vedere Azure Databricks cartelle Git.
  • Last updated on