Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Implementare il caricamento e le trasformazioni dei dati nelle pipeline Lakeflow con query che definiscono tabelle di streaming e viste materializzate. Le pipeline di Lakeflow supportano interfacce SQL e Python. Poiché forniscono funzionalità equivalenti per la maggior parte dei casi d'uso per l'elaborazione dei dati, è possibile scegliere l'interfaccia più comoda con cui si ha familiarità. Per informazioni su come decidere, vedere Scegliere tra SQL e Python.
sviluppo Python
Creare pipeline utilizzando codice Python.
| Argomento | Description |
|---|---|
| Sviluppa codice per la pipeline con Python | Panoramica dello sviluppo di pipeline in Python. |
| Informazioni di riferimento sul linguaggio di Python delle pipeline di Lakeflow | Documentazione di riferimento di Python per il modulo pipelines. |
| Gestisci le dipendenze Python per le pipeline | Istruzioni per la gestione delle librerie Python nelle pipeline. |
| Importare moduli di Python da cartelle Git o file dell'area di lavoro | Istruzioni per l'uso di moduli Python archiviati in Azure Databricks. |
Sviluppo SQL
Creare pipeline usando il codice SQL.
| Argomento | Description |
|---|---|
| Sviluppare codice di pipeline Lakeflow con SQL | Panoramica dello sviluppo di pipeline in SQL. |
| Informazioni di riferimento sul linguaggio SQL della pipeline | Documentazione di riferimento per la sintassi SQL per le pipeline Lakeflow. |
| Pipeline autonome | Usare Databricks SQL per usare le pipeline. |
Altri argomenti sullo sviluppo
Negli argomenti seguenti vengono descritti altri modi per sviluppare pipeline.
| Argomento | Description |
|---|---|
| Convertire una pipeline in un progetto di bundle | Convertire una pipeline esistente in un bundle, che consente di gestire la configurazione dell'elaborazione dati in un file YAML controllato dall'origine per semplificare la manutenzione e le distribuzioni automatizzate negli ambienti di destinazione. |
| Metaprogrammazione con le pipeline di Lakeflow |
Creare pipeline con dlt-meta. Usare la libreria open source dlt-meta per automatizzare la creazione di pipeline con un framework basato sui metadati.Esercitazione: Creare più flussi con parametri diversi. Creare più flussi in un ciclo in Python. |
| Sviluppare codice della pipeline nell'ambiente di sviluppo locale | Panoramica delle opzioni per lo sviluppo di pipeline in locale. |