DLT versão 2025.04

23 a 30 de janeiro de 2025

Esses recursos e melhorias foram lançados com a versão 2025.04 do DLT.

Versões do Databricks Runtime usadas por esta versão

Channel:

  • ATUAL (padrão): Databricks Runtime 15.4
  • VISUALIZAÇÃO: Databricks Runtime 15.4 ou 16.1

Note

Como as versões de canal DLT seguem um processo de atualização contínua, as atualizações de canal são implantadas em diferentes regiões em momentos diferentes. Sua versão, incluindo as versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte informações sobre o tempo de execução.

Novos recursos e melhorias

  • Por predefinição, os novos Spark Declarative Pipelines no Lakeflow suportam a criação e a atualização de vistas materializadas e tabelas de streaming em múltiplos catálogos e esquemas. Esse novo comportamento padrão para a configuração do pipeline requer que os usuários especifiquem um esquema de destino que se torne o esquema padrão para o pipeline. O esquema virtual LIVE e a sintaxe associada não são mais necessários. Para saber mais, consulte Definir o catálogo e esquema do destino, Configurar os pipelines e esquema LIVE (legado).

  • A solicitação de clone a pipeline na API REST do Databricks agora está disponível para o público em geral. Você pode usar essa solicitação para copiar um pipeline existente que publica no metastore do Hive para um novo pipeline que publica no Unity Catalog. Consulte Criar um pipeline do Unity Catalog clonando um pipeline de metastore do Hive.

  • O suporte para visualizar métricas de carga de trabalho de streaming para suas atualizações de pipeline está em Visualização pública. Quando visualiza atualizações de pipeline nos Spark Declarative Pipelines na Lakeflow UI, pode agora visualizar métricas como segundos de backlog, bytes de backlog, registos de backlog e ficheiros de backlog para cada fluxo de streaming no pipeline. As métricas de streaming são suportadas para fontes do Spark Structured Streaming, incluindo Apache Kafka, Amazon Kinesis e Auto Loader. Consulte para ver métricas de transmissão contínua.

  • Last updated on