Fabric Runtime 2.0 (Pré-visualização)

O Fabric Runtime proporciona uma integração fluida dentro do ecossistema Microsoft Fabric, proporcionando um ambiente robusto para projetos de engenharia de dados e ciência de dados alimentados pelo Apache Spark.

Este artigo apresenta o Fabric Runtime 2.0 Public Preview, o mais recente runtime concebido para cálculos de big data no Microsoft Fabric. Destaca as principais funcionalidades e componentes que tornam este lançamento um avanço significativo para análises escaláveis e cargas de trabalho avançadas.

O Fabric Runtime 2.0 incorpora os seguintes componentes e atualizações concebidos para melhorar as suas capacidades de processamento de dados:

• Apache Spark 4.1
• Sistema operativo: Azure Linux 3.0 (Mariner 3.0)
• Java: 21
• Scala: 2.13
• Python: 3.13
• Delta Lake: 4,2
• R: 4.5.2

Ativar o Runtime 2.0

Podes ativar o Runtime 2.0 tanto ao nível do workspace como ao nível do item do ambiente. Usa a definição workspace para aplicar o Runtime 2.0 como padrão para todas as cargas de trabalho do Spark no teu espaço de trabalho. Alternativamente, crie um item de ambiente com Runtime 2.0 para usar com notebooks específicos ou definições de jobs do Spark, substituindo o padrão do workspace.

Ativar o Runtime 2.0 nas definições do Workspace

Para definir o Runtime 2.0 como padrão para todo o seu espaço de trabalho:

1. Navega para a página de definições do Workspace dentro do teu Fabric Workspace.

   

2. Seleciona o separador Engenharia de Dados/Ciência e depois seleciona as definições do Spark.

3. Selecione o separador Ambiente.

4. No menu suspenso da versão Runtime , selecione Pré-visualização Pública 2.0 (Spark 4.1, Delta 4.2) e guarde as suas alterações.

5. O tempo de execução 2.0 está definido como o tempo de execução padrão para o teu espaço de trabalho.

Ativar o Tempo de Execução 2.0 num item de Ambiente

Para usar o Runtime 2.0 com notebooks específicos ou definições de funções Spark:

1. Crie um novo item de Ambiente ou abra um existente.

2. Na lista pendente Runtime, selecione 2.0 Pré-visualização pública (Spark 4.1, Delta 4.2), Guardar e Publicar as suas alterações.

   

3. Em seguida, pode utilizar este item Ambiente com o seu Notebook ou a sua Definição de Tarefa Spark.

Agora pode começar a experimentar as melhorias e funcionalidades mais recentes introduzidas no Fabric Runtime 2.0 (Spark 4.1 e Delta Lake 4.2).

Pré-visualização pública

A fase pública de pré-visualização do Fabric Runtime 2.0 dá-lhe acesso a novas funcionalidades e APIs tanto do Spark 4.1 como do Delta Lake 4.2. A pré-visualização permite-lhe utilizar imediatamente as mais recentes melhorias baseadas em Spark e Delta, além de garantir uma prontidão e transição suaves para mudanças mais avançadas, como as versões mais recentes em Java, Scala e Python.

Destaques chave

Melhorias no desempenho e no motor de execução

O Fabric Runtime 2.0 inclui o Native Execution Engine, que oferece melhorias significativas de desempenho em relação ao Spark open-source. O motor utiliza processamento vetorizado para acelerar consultas Spark na infraestrutura do lago sem exigir alterações de código.

Principais características de desempenho no Runtime 2.0:

• Até seis vezes mais rápido: Os benchmarks mostram até seis vezes mais desempenho em comparação com o Spark open-source em cargas de trabalho TPC-DS.
• Análise CSV vetorizada: O motor de execução nativo inclui um parser CSV vetorizado que acelera a ingestão e as cargas de consulta CSV. Estão planeados o suporte para análise JSON vetorializada e Spark Structured Streaming para futuras atualizações.

Para ativar o motor de execução nativo, veja Motor de execução nativo para Engenharia de Dados de Fabrico.

Apache Spark 4.1

Apache Spark 4.0 marcou um marco significativo como o lançamento inaugural da série 4.x, incorporando o esforço coletivo da vibrante comunidade open-source. Fabric Runtime 2.0 corre agora em Apache Spark 4.1, que se baseia nessa base com melhorias adicionais.

Nesta versão, o Spark SQL está significativamente enriquecido com novas funcionalidades poderosas concebidas para aumentar a expressividade e versatilidade para cargas de trabalho SQL, como suporte a tipos de dados VARIANT, funções definidas pelo utilizador SQL, variáveis de sessão, sintaxe de pipe e colação de strings. A PySpark demonstra dedicação contínua tanto à sua amplitude funcional como à experiência global dos programadores, trazendo uma API nativa de ploting, uma nova API de Fonte de Dados em Python, suporte para UDTFs em Python e perfilagem unificada para UDFs PySpark, juntamente com inúmeras outras melhorias. O Structured Streaming evolui com adições chave que proporcionam maior controlo e facilidade de depuração, nomeadamente a introdução da API de Estado Arbitrário v2 para uma gestão de estados mais flexível e da Fonte de Dados de Estado para facilitar a depuração.

Pode consultar a lista completa e as alterações detalhadas aqui:

• Apache Spark 4.0.
• Apache Spark 4.1.

Delta Lake 4.2

O Delta Lake 4.2 baseia-se em lançamentos anteriores do Delta Lake, mantendo o compromisso de tornar o Delta Lake interoperável em vários formatos, mais fácil de trabalhar e mais eficiente. Inclui novas funcionalidades poderosas, otimizações de desempenho e melhorias fundamentais para o futuro dos lagos de dados abertos.

Para a lista completa e as alterações detalhadas introduzidas com Delta Lake 3.3, 4.0, 4.1 e 4.2, veja:

• Delta Lake 3.3
• Delta Lake 4.0
• Delta Lake 4.1
• Delta Lake 4.2

Disposição e otimização dos dados

O Runtime 2.0 suporta layout de dados e funcionalidades de otimização para tabelas Delta:

• Ordenação Z: Organize os dados dentro dos ficheiros de tabelas Delta por colunas especificadas para melhorar o desempenho das consultas filtradas.
• Cluster Líquido: Uma abordagem flexível de clustering que otimiza automaticamente o layout dos dados sem manutenção manual.
• Carregamento paralelo de snapshots Delta: O motor de execução nativo carrega snapshots de tabelas Delta em paralelo, reduzindo o tempo de arranque da consulta para tabelas grandes.

Gestão de computação no Runtime 2.0

O Runtime 2.0 suporta as seguintes funcionalidades de gestão de computação:

• Perfis de recursos: Configure alocações pré-definidas de recursos para sessões Spark para corresponder aos requisitos de carga de trabalho e controlar custos.
• Pools ao vivo personalizados (pré-visualização): Crie pools Spark dedicados e pré-aquecidos que reduzam o tempo de início da sessão. Pools de sessões ao vivo personalizados estão disponíveis em pré-visualização para cargas de trabalho do Runtime 2.0.

Limitações e notas

• As funcionalidades específicas do Delta Lake 4.x são experimentais e funcionam apenas em experiências Spark, como cadernos e definições de funções no Spark. Se precisares de usar as mesmas tabelas Delta Lake em várias cargas de trabalho do Fabric, não atives essas funcionalidades. Para mais informações, consulte interoperabilidade no formato de tabela Delta Lake.
• Runtime 2.0 está em pré-visualização pública. Algumas funcionalidades e APIs podem mudar antes da disponibilidade geral.
• A extensão VS Code para Fabric Spark suporta o Runtime 2.0 para desenvolvimento de definições de notebooks e funções no Spark.

Conteúdo relacionado

• Ambientes de Execução do Apache Spark no Fabric - Visão Geral, Versionamento e Suporte a Múltiplos Ambientes de Execução
• Guia de migração do Spark Core
• Guias de migração SQL, Datasets e DataFrame
• Guia de migração do Streaming Estruturado
• Guia de migração MLlib (Machine Learning)
• Guia de migração do PySpark (Python on Spark)
• Guia de migração do SparkR (R on Spark)