Interoperabilidade do formato de tabela Delta Lake

No Microsoft Fabric, o formato de tabela Delta Lake é o padrão para análises. O Delta Lake é uma camada de armazenamento de código aberto que traz transações ACID (Atomicidade, Consistência, Isolamento, Durabilidade) para cargas de trabalho de big data e análise.

Todas as experiências do Fabric geram e consomem nativamente tabelas Delta Lake, proporcionando uma experiência unificada ao produto. As tabelas Delta Lake produzidas por um mecanismo de computação, como o Fabric Data Warehouse ou o Synapse Spark, podem ser consumidas por qualquer outro mecanismo, como o Power BI. Quando ingeres dados no Fabric, ele armazena os dados como tabelas Delta por defeito. Você pode integrar facilmente dados externos contendo tabelas Delta Lake usando atalhos do OneLake.

Funcionalidades do Delta Lake e experiências do Fabric

Para alcançar a interoperabilidade, todas as experiências da plataforma alinham-se às funcionalidades do Delta Lake e às capacidades da plataforma. Algumas experiências só podem escrever em tabelas Delta Lake, enquanto outras podem ler a partir delas.

• Autores: armazéns de dados, fluxos de eventos e modelos semânticos do Power BI exportados para o OneLake
• Leitores: ponto final de análise SQL e modelos semânticos Power BI de acesso direto a lagoas
• Gravadores e leitores: tempo de execução do Fabric Spark, fluxos de dados, pipelines e bancos de dados KQL (Kusto Query Language)

A matriz seguinte mostra as principais funcionalidades do Delta Lake e a sua disponibilidade em cada experiência Fabric.

¹ As bases de dados KQL fornecem certas capacidades de manutenção de tabelas, como retenção. Os dados são removidos no final do período de retenção da OneLake. Para obter mais informações, consulte Uma cópia lógica.

Limitações atuais

Atualmente, o Fabric não oferece suporte a esses recursos do Delta Lake:

• Os pontos de verificação V2 não estão uniformemente disponíveis em todas as experiências. Somente notebooks Spark e tarefas Spark podem ler e gravar em tabelas com pontos de verificação V2. Os endpoints Lakehouse e SQL Analytics não listam corretamente tabelas contendo ficheiros V2 Checkpoint na __delta_log pasta.
• Delta Lake 3.x Uniforme. Este recurso é suportado apenas no Data Engineering Spark-compute (Notebooks, Spark Jobs).
• Escrita de colunas de identidade (funcionalidade Azure Databricks).
• Lakeflow Spark Declarative Pipelines (funcionalidade Azure Databricks).
• A Delta Lake 4.x apresenta características fora do Lakehouse e do Spark Notebooks and Jobs: colações, tipos de variantes, commits coordenados e mais. O alargamento de tipos é suportado conforme indicado na matriz de funcionalidades anterior neste artigo.
• Notebooks Python com suporte para o recurso Delta Lake: Os notebooks Python utilizam delta-rs (deltalake), DuckDB e Polars em vez do leitor e escritor Spark Delta Lake para ler e escrever tabelas Delta Lake. As versões deltalake atualmente fixadas pela Fabric não suportam algumas funcionalidades da tabela Delta Lake, incluindo vetores de eliminação, mapeamento de colunas, gravações e otimização por agrupamento dinâmico e alargamento de tipos. Polars read_delta e write_delta usam deltalake como backend, por isso partilham as mesmas limitações.
• Python notebooks Delta Lake soluções alternativas e regresso: A função DuckDB delta_scan pode fornecer uma solução alternativa apenas de leitura para algumas tabelas que o sistema não consegue ler, como tabelas com vetores de eliminação. Se uma funcionalidade Delta Lake não estiver disponível ou não funcionar num caderno Python, usa um caderno PySpark em vez disso. Os cadernos PySpark oferecem o suporte mais abrangente para Delta Lake no Fabric e abrangem os cenários de Delta Lake listados para os ambientes de execução do Fabric Spark nestas tabelas. Para mais informações, veja Interação de dados em cadernos Python e a Escolha entre cadernos Python e PySpark no Microsoft Fabric.

Caracteres especiais nos nomes das tabelas

O Fabric suporta caracteres especiais como parte dos nomes das tabelas. Esta funcionalidade permite o uso de caracteres Unicode para compor nomes de tabelas nas experiências Fabric.

Os seguintes caracteres especiais são reservados ou não compatíveis com pelo menos uma das Fabric tecnologias e não devem ser usados como parte do nome de uma tabela: " (aspas duplas), ' (aspas simples), #, %, +, :, ? ou ' (backtick).

Conteúdo relacionado

• Descrição geral do Delta Lake no Microsoft Fabric
• Manutenção e otimização de tabelas de carga cruzada em Microsoft Fabric
• Tabelas Lakehouse e Delta Lake
• Visão geral do Direct Lake
• Consultar tabelas do Warehouse através dos registos publicados do Delta Lake