Migrar cargas de trabalho Spark from Azure Synapse Analytics para Microsoft Fabric (Preview)

Observação

O fluxo de trabalho de migração guiada está atualmente em pré-visualização pública.

Migre cargas de trabalho do Spark do Azure Synapse Analytics para o Microsoft Fabric através de um fluxo de trabalho guiado.

No pré-visualização pública, o fluxo de trabalho migra pools do Spark, cadernos, definições de trabalhos do Spark e bases de dados lacustres.

A migração não move os seus dados. O fluxo de trabalho copia e transforma os itens Spark suportados para Fabric e gera um relatório de migração para cada execução.

O fluxo de trabalho de migração suporta os seguintes itens:

  • Os Spark pools são migrados para os Fabric Pools e ambientes correspondentes.
  • Os cadernos e ambientes associados são migrados.
  • As definições de tarefas Spark (SJDs) são migradas com ambientes associados.
  • As bases de dados Lake são mapeadas para esquemas Fabric e tabelas Delta geridas são migradas criando atalhos de catálogo OneLake.

Para detalhes de migração da base de dados do lago, a base de dados Synapse por defeito mapeia para o dbo esquema no Fabric, e mais bases de dados são migradas como esquemas na mesma casa do lago.

Como funciona a migração

Para migrar pools Apache Spark, notebooks, definições de trabalhos Spark e bases de dados lake para Fabric, siga o fluxo de trabalho guiado.

Copiar e transformar itens

Primeiro, localize o espaço de trabalho de origem que contém os itens de engenharia de dados que pretende migrar. O processo de migração copia e transforma então os itens suportados para que possam correr num espaço de trabalho Fabric.

Monitorar a migração

Durante a migração, pode monitorizar o progresso e rever um resumo dos itens migrados de engenharia de dados. Quando a migração está concluída, os novos itens ficam disponíveis no seu espaço de trabalho do Fabric.

Cargas de trabalho do Migrate Spark

  1. Abre um espaço de trabalho no Fabric e depois seleciona Migrar na barra de ferramentas.

  2. No assistente, selecione itens de engenharia de dados.

    Captura de ecrã de migração para Fabric.

  3. Especifique os detalhes do workspace do Azure Synapse de origem. Pode procurar o espaço de trabalho de origem com base na subscrição. Depois de selecionar a subscrição, selecione o espaço de trabalho de origem dessa subscrição.

    • Introduza um Nome de migração.
    • Selecione a Subscrição e o espaço de trabalho de origem.

    Captura de ecrã de selecionar uma fonte.

  4. Selecione o espaço de trabalho Fabric de destino onde os itens devem ser migrados.

    O espaço de trabalho de origem e o espaço de trabalho do Fabric de destino que selecionas no assistente determinam a direção da migração.

    Captura de ecrã de selecionar um destino.

  5. Consulte as ligações de gateway de dados disponíveis a que possa aceder. Adicione uma nova ligação se necessário.

    Captura de ecrã de selecionar ou criar uma ligação de gateway de dados.

    • Para criar uma nova ligação, selecione Adicionar nova.

    • O servidor e o caminho são gerados a partir da conta e contentor padrão Azure Data Lake Storage Gen2 para o espaço de trabalho de origem. Este valor é necessário porque a migração da base de dados do lago cria atalhos para as localizações das tabelas geridas.

      Captura de ecrã da nova ligação.

  6. Opcionalmente, selecione a ligação de gateway de dados a usar nesta execução de migração.

    Observação

    Se não selecionares uma ligação gateway, as bases de dados não são migradas.

  7. Veja os detalhes da migração e depois selecione Próximo.

    Captura de ecrã de migração e conclusão.

    Fechar o diálogo neste ponto permite-te cancelar a migração:

    Captura de ecrã de cancelar esta migração.

  8. Selecione Migrar para iniciar a migração.

    Captura de ecrã do botão de migração.

  9. Monitore o progresso da migração. Durante a migração, pode ver o estado e o resumo dos itens migrados.

    • O spinner indica que a migração começou.

    • Uma notificação no canto superior direito indica o progresso.

    • Está disponível um link para o Relatório de Migração .

    • Após alguns segundos, és automaticamente redirecionado para o relatório.

      Captura de ecrã da migração de itens do Spark.

      Observação

      O relatório de migração também pode ser acedido a partir do Monitoring Hub. Pode pesquisar o trabalho de migração pelo nome de migração ou pode filtrar pelo tipo de item de Definição de Trabalho Spark.

  10. Selecione o link Relatório de Migração do passo anterior para rever os resultados.

    Captura de ecrã do resumo da migração.

    Observação

    Selecione Detalhes para ver informações adicionais sobre erros ou avisos encontrados durante a migração.

Limitações da pré-visualização pública

  • Os espaços de trabalho Synapse sob uma rede virtual (VNET) não podem ser migrados.
  • As configurações do Spark, bibliotecas personalizadas e definições personalizadas do executor não são migradas.
  • Formatos de tabela que não sejam Delta não são suportados.

Conteúdo relacionado

  • Last updated on