Informazioni sui componenti chiave dei processi Lakeflow
I processi Lakeflow sono costituiti da diversi componenti chiave che consentono l'orchestrazione e l'esecuzione di attività di elaborazione dati in modo efficiente nel cloud. Di seguito sono indicati i componenti principali:
Processi: i processi sono il componente principale nei Processi Lakeflow. Consentono di definire e pianificare attività automatizzate, ad esempio l'esecuzione di notebook, script o archivi Java compilati (JAR). I processi possono essere attivati in base a una pianificazione o eseguiti manualmente e possono essere configurati per gestire dipendenze e flussi di lavoro complessi.
Attività: i processi di Databricks supportano un'ampia gamma di tipi di attività, tra cui notebook, script e pacchetti, query SQL, pipeline e attività del flusso di controllo. È anche possibile definire le dipendenze tra le attività per orchestrare flussi di lavoro complessi e in più passaggi. Le attività sono organizzate come Grafo Aciclico Diretto (DAG), che rappresenta visivamente l'ordine di esecuzione e le relazioni di dipendenza.
Compute: Azure Databricks offre tre opzioni di calcolo per l'esecuzione delle attività. Serverless compute è l'impostazione predefinita per i tipi di attività supportati, Azure Databricks gestisce automaticamente l'infrastruttura, quindi non è necessario configurare le impostazioni del cluster. Il calcolo dei processi classici consente di controllare la configurazione del cluster (versione di Spark, tipi di istanza, criteri di scalabilità automatica) e viene usata quando sono necessarie configurazioni o librerie specifiche. I magazzini SQL eseguono attività di query SQL e si connettono a un magazzino SQL serverless o professionale esistente nel tuo spazio di lavoro.
Pianificazioni e trigger: pianificazione e trigger determinano come e quando vengono eseguiti i processi. I processi possono essere attivati manualmente, su base pianificata (usando espressioni cron) o in risposta a determinati trigger. Ciò offre flessibilità nel modo in cui i processi Lakeflow vengono orchestrati.
Notebooks: I notebook di Databricks sono documenti collaborativi che contengono codice eseguibile, visualizzazioni e testo narrativo. Costituiscono un'unità comune di esecuzione nei processi Lakeflow e possono essere usati per orchestrare complesse trasformazioni di dati, visualizzazioni e modelli di apprendimento automatico complessi.
Librerie: Le librerie in Databricks contengono pacchetti o moduli che possono essere usati da notebook e processi. I moduli possono includere pacchetti Python, librerie Java/Scala o pacchetti R. Le librerie possono essere collegate ai cluster e rese disponibili per attività da usare durante l'esecuzione.
Monitoraggio e registrazione: Azure Databricks offre strumenti per monitorare le prestazioni di processi e cluster. I log e le metriche vengono raccolti automaticamente, consentendo di diagnosticare i problemi e ottimizzare le prestazioni. L'integrazione con Monitoraggio di Azure consente di monitorare e inviare avvisi esaustivi nell'ecosistema di Azure.
Automazione: Databricks offre l'interfaccia della riga di comando di Databricks, gli SDK di Databricks e l'API REST per la creazione e la gestione dei processi a livello di codice, consentendo l'integrazione con sistemi esterni e strumenti di automazione.
Questi componenti interagiscono per fornire un framework solido per la gestione dei flussi di lavoro dei dati, consentendo l'elaborazione e la collaborazione efficiente in un ambiente cloud sicuro e scalabile.