Note sulla versione delle pipeline di Lakeflow e processo di aggiornamento della versione

Questo articolo illustra il processo di rilascio delle pipeline Lakeflow, il modo in cui viene gestito il runtime e fornisce collegamenti alle note sulla versione per ogni versione.

Versioni correnti del canale di Databricks Runtime

Le versioni correnti di Databricks Runtime per ogni canale sono:

Per l’elenco dei pacchetti installati per ciascun runtime — librerie Python, R e Java — consulta le corrispondenti note di rilascio di Databricks Runtime indicate sopra.

Note di rilascio delle pipeline Lakeflow

Le note sulla versione sono organizzate per mese. Poiché le pipeline sono senza versione, le modifiche dell'area di lavoro e di runtime vengono eseguite automaticamente. Le note sulla versione seguenti offrono una panoramica delle modifiche e delle correzioni di bug in ogni versione:

In precedenza, le note di rilascio erano organizzate in base all'anno e alla settimana dell'anno.

Note sulla versione meno recenti

Canali di runtime delle pipeline di Lakeflow

I cluster di pipeline usano runtime basati su note sulla versione e compatibilità di Databricks Runtime. Azure Databricks aggiorna automaticamente i runtime della pipeline per supportare miglioramenti e aggiornamenti alla piattaforma. È possibile usare il channel campo nelle impostazioni della pipeline per controllare la versione di runtime che esegue la pipeline. I valori supportati sono:

  • current per usare la versione di runtime corrente.
  • preview per testare la tua pipeline con le modifiche imminenti alla versione del runtime.

Per impostazione predefinita, le pipeline vengono eseguite usando la versione di runtime current. Databricks consiglia di usare il runtime di current per i carichi di lavoro di produzione. Per informazioni su come usare l'impostazione preview per testare le pipeline con la versione di runtime successiva, vedere Automatizzare il test delle pipeline con la versione di runtime successiva.

Important

Le funzionalità contrassegnate come disponibili a livello generale o anteprima pubblica sono disponibili nel canale current.

Per altre informazioni sui canali della pipeline, vedere il channel campo nelle impostazioni della pipeline.

Per informazioni su come vengono gestiti gli aggiornamenti per ogni versione, vedere Funzionamento degli aggiornamenti delle pipeline di Lakeflow.

Come si trova la versione di Databricks Runtime per un aggiornamento della pipeline?

È possibile eseguire una query sul registro eventi della pipeline per trovare la versione di Databricks Runtime per un aggiornamento della pipeline specifico. Consultare informazioni sul runtime.

Come funzionano gli aggiornamenti delle pipeline di Lakeflow?

Le pipeline di Lakeflow sono senza versione, il che significa che Azure Databricks aggiorna automaticamente il runtime per supportare miglioramenti e aggiornamenti alla piattaforma. Databricks consiglia di limitare le dipendenze esterne.

Databricks funziona in modo proattivo per impedire agli aggiornamenti automatici di introdurre errori o problemi alle pipeline di produzione. Vedere Processo di aggiornamento delle pipeline di Lakeflow.

In particolare per gli utenti che implementano pipeline con dipendenze esterne, Databricks consiglia di testare preventivamente le pipeline con canali preview. Vedere Automatizzare i test delle pipeline con la versione di runtime successiva.

Processo di aggiornamento delle pipeline di Lakeflow

Azure Databricks gestisce il runtime di Databricks usato dalle risorse di calcolo della pipeline. Aggiorna automaticamente il runtime nelle aree di lavoro Azure Databricks e monitora l'integrità delle pipeline dopo l'aggiornamento.

Se Azure Databricks rileva che una pipeline non può essere avviata a causa di un aggiornamento, la versione di runtime per la pipeline viene ripristinata alla versione precedente nota per essere stabile e vengono attivati automaticamente i passaggi seguenti:

  • Il runtime della pipeline è bloccato alla precedente versione nota come valida.
  • Il supporto di Databricks riceve una notifica del problema.
    • Se il problema è correlato a una regressione nel runtime, Databricks risolve il problema.
    • Se il problema è causato da una libreria personalizzata o da un pacchetto usato dalla pipeline, Databricks contatta l'utente per risolvere il problema.
  • Quando il problema viene risolto, Azure Databricks avvia nuovamente l'aggiornamento.

Important

Azure Databricks ripristina solo le pipeline in esecuzione in modalità di produzione con il canale impostato su current.

Automatizzare il test delle pipeline con la versione di runtime successiva

Per assicurarsi che le modifiche nella versione di runtime successiva non influiscono sulle pipeline, usare la funzionalità canali della pipeline:

  1. Creare una pipeline di staging e impostare il canale su preview.
  2. Nell'interfaccia della pipeline, crea una pianificazione per eseguire la pipeline settimanalmente e abilita gli avvisi per ricevere una notifica e-mail in caso di errori della pipeline. Databricks consiglia di pianificare l'esecuzione settimanale dei test delle pipeline, soprattutto se si utilizzano dipendenze della pipeline personalizzate .
  3. Se si riceve una notifica di un errore e non è possibile risolverlo, aprire un ticket di supporto con Databricks.

Note

Quando si modifica la pipeline durante la risoluzione dei problemi del canale di anteprima, convalidare tali modifiche rispetto al canale current prima di eseguire la distribuzione nell'ambiente di produzione in esecuzione su current. Una modifica che funziona su preview potrebbe comportarsi in modo diverso in current.

dipendenze della pipeline

Le pipeline supportano dipendenze esterne; Ad esempio, è possibile installare qualsiasi pacchetto Python usando il %pip install comando . Supportano anche l'uso di script di inizializzazione globali e con ambito cluster. Tuttavia, queste dipendenze esterne, in particolare gli script init, aumentano il rischio di problemi con gli aggiornamenti di runtime. Per attenuare questi rischi, ridurre al minimo l'uso di script init nelle pipeline. Se l'elaborazione richiede script init, automatizzare i test della pipeline per rilevare i problemi in anticipo; vedere Automatizzare i test delle pipeline con la versione di runtime successiva. Se si usano script init, Databricks consiglia di aumentare la frequenza di test.

  • Last updated on