Notas de versão das pipelines do Lakeflow e o processo de atualização da versão

Este artigo explica o processo de lançamento dos pipelines Lakeflow, como o ambiente de execução é gerido e fornece ligações para as notas de lançamento de cada versão.

Versões atuais do canal Databricks em tempo de execução

As versões atuais do Databricks Runtime para cada canal são:

Para consultar a lista de pacotes instalados em cada ambiente de execução — bibliotecas de Python, R e Java — consulte as notas de versão correspondentes do Databricks Runtime, com ligação acima.

Notas de versão dos pipelines do Lakeflow

As notas de lançamento estão organizadas por mês. Como os pipelines são sem versão, tanto as alterações no espaço de trabalho como nas de execução ocorrem automaticamente. As seguintes notas de versão fornecem uma visão geral das alterações e correções de bugs em cada versão:

Anteriormente, as notas de lançamento eram organizadas por ano e semana do ano.

Notas de lançamento mais antigas

Canais de execução de condutas de fluxo de lago

Os clusters de pipelines utilizam runtimes baseados nas notas de versão, versões e compatibilidade do Databricks Runtime. O Azure Databricks atualiza automaticamente os runtimes do pipeline para suportar melhorias e atualizações na plataforma. Podes usar o channel campo nas definições do pipeline para controlar a versão de runtime que executa o teu pipeline. Os valores suportados são:

  • current para usar a versão atual do tempo de execução.
  • preview para testar o seu pipeline com alterações futuras na versão de runtime.

Por predefinição, os seus pipelines são executados usando a versão de tempo de execução current. O Databricks recomenda o uso do tempo de execução current para cargas de trabalho de produção. Para saber como usar a configuração preview para testar seus pipelines com a próxima versão de tempo de execução, consulte Automatizar o teste de seus pipelines com a próxima versão de tempo de execução.

Important

Os recursos marcados como geralmente disponíveis ou Visualização Pública estão disponíveis no canal current.

Para mais informações sobre os canais do pipeline, consulte o channel campo nas definições do pipeline.

Para compreender como as atualizações são geridas para cada versão, veja Como funcionam as atualizações do pipeline Lakeflow?.

Como posso encontrar a versão do Databricks Runtime para uma atualização de pipeline?

Pode consultar o registo de eventos do pipeline para encontrar a versão do Databricks Runtime para uma atualização específica do pipeline. Consulte informações sobre o tempo de execução.

Como funcionam as atualizações dos oleodutos Lakeflow?

Os pipelines Lakeflow são sem versão, o que significa que o Azure Databricks atualiza automaticamente o runtime para suportar melhorias e atualizações na plataforma. O Databricks recomenda limitar dependências externas.

O Databricks trabalha proativamente para evitar que atualizações automáticas introduzam erros ou problemas nos pipelines de produção. Consulte o processo de atualização dos oleodutos Lakeflow.

Especialmente para os utilizadores que implementam pipelines com dependências externas, a Databricks recomenda testar antecipadamente pipelines com canais preview. Consulte Automatizar o teste de seus pipelines com a próxima versão de tempo de execução.

Processo de atualização dos pipelines do Lakeflow

O Azure Databricks gere o Databricks Runtime utilizado pelos recursos de computação do pipeline. Atualiza automaticamente o tempo de execução nos seus workspaces do Azure Databricks e monitoriza a saúde dos seus pipelines após a atualização.

Se o Azure Databricks detetar que um pipeline não pode iniciar devido a uma atualização, a versão de execução do pipeline reverte para a versão anterior que se sabe ser estável, e os seguintes passos são acionados automaticamente:

  • O ambiente de execução do pipeline está associado à última versão válida conhecida.
  • O suporte da Databricks é notificado do problema.
    • Se o problema estiver relacionado a uma regressão no tempo de execução, o Databricks resolverá o problema.
    • Se o problema for causado por uma biblioteca personalizada ou pacote usado pelo pipeline, o Databricks entrará em contato com você para resolver o problema.
  • Quando o problema é resolvido, o Azure Databricks inicia novamente a atualização.

Important

O Azure Databricks apenas reverte pipelines em execução em modo de produção com o canal definido para current.

Automatize os testes de seus pipelines com a próxima versão de tempo de execução

Para garantir que as alterações na próxima versão de execução não afetam os seus pipelines, utilize a funcionalidade de canais de pipeline:

  1. Crie um pipeline de implantação e defina o canal como preview.
  2. Na IU do pipeline, configure um agendamento para executar o pipeline semanalmente e ative os alertas para receber uma notificação por e-mail em caso de falha do pipeline. Databricks recomenda o agendamento de execuções de teste semanais de pipelines, especialmente se utilizar dependências personalizadas de pipeline de .
  3. Se receber uma notificação de uma falha e não conseguir resolvê-la, abra um pedido de suporte à Databricks.

Note

Se modificar o seu pipeline enquanto resolve falhas no canal de pré-visualização, valide essas alterações contra o canal current antes de implantar para produção em execução em current. Uma alteração que funciona em preview pode comportar-se de forma diferente em current.

Dependências do fluxo de produção

Os pipelines suportam dependências externas; por exemplo, podes instalar qualquer pacote Python usando o %pip install comando. Também suportam a utilização de scripts de init globais e com âmbito de cluster. No entanto, essas dependências externas, particularmente scripts de inicialização, aumentam o risco de problemas com atualizações de tempo de execução. Para reduzir esses riscos, minimize o uso de scripts init em seus pipelines. Se o seu processamento requer scripts de inicialização, automatize os testes dos seus pipelines para detetar problemas antecipadamente; consulte Automatize o teste dos seus pipelines com a próxima versão de runtime. Se você usar scripts init, o Databricks recomenda aumentar a frequência de teste.

  • Last updated on