CI/CD para tarefa de cópia no Data Factory do Microsoft Fabric

Para executar projetos de análise de dados bem-sucedidos com a função Copy job, você deseja usar controle de versão, integração contínua, implantação contínua e um ambiente colaborativo.

No Microsoft Fabric, você obtém duas ferramentas principais para isso: integração do Git e pipelines de implantação. Eles permitem gerenciar recursos do espaço de trabalho e atualizá-los conforme necessário.

Com os pipelines de integração e implantação do Git, você pode conectar seus próprios repositórios Git no Azure DevOps ou no GitHub e usar as ferramentas de implantação internas do Fabric. Isso facilita a configuração de fluxos de trabalho de CI/CD suaves, para que você possa criar, testar e implantar seus projetos de dados com confiança.

Além disso, com o suporte à biblioteca de variáveis, você pode parametrizar conexões no trabalho de cópia. Esse poderoso recurso simplifica o CI/CD externalizando valores de conexão, permitindo que você implante o mesmo trabalho de cópia em vários ambientes, enquanto a biblioteca de variáveis injeta a conexão correta para cada estágio.

Integração com Git para trabalho de cópia

Siga estas etapas para conectar seu trabalho de cópia no Data Factory ao Git. Isto ajuda-o a controlar as alterações, a trabalhar com a sua equipa e a manter o seu trabalho seguro:

1. Pré-requisitos
2. Conectar-se a um repositório Git
3. Conectar-se a um espaço de trabalho
4. Confirmar alterações no Git

Pré-requisitos para integração com Git

• Você precisa de uma licença do Power BI Premium ou capacidade do Fabric.
• Certifique-se de que estas definições de administrador estão ativadas:
  • Os usuários podem criar itens de malha
  • Os usuários podem sincronizar itens do espaço de trabalho com seus repositórios Git
  • (Para usuários do GitHub) Os usuários podem sincronizar itens do espaço de trabalho com repositórios do GitHub
• Você precisa de uma organização do Azure DevOps ou de uma conta do GitHub.
  • Para o Azure DevOps:
    • Cria uma conta gratuita no Azure se não tiveres nenhuma.
    • Certifique-se de que tem acesso a um repositório.
  • Para o GitHub:
    • Cria uma conta gratuita no GitHub se não tiveres nenhuma.
    • Você precisa de um token refinado com permissões de leitura e gravação para Conteúdo ou um token clássico do GitHub com escopos de repositório habilitados.

Etapa 1: Conectar-se a um repositório Git

Para usar a integração do Git com o trabalho de cópia no Fabric, primeiro você precisa se conectar a um repositório Git:

1. Entre no Fabric e vá para o espaço de trabalho que você deseja conectar ao Git.

2. Selecione Configurações do espaço de trabalho.

   

3. Selecione Integração Git.

4. Escolha seu provedor Git — Azure DevOps ou GitHub. Se você escolher GitHub, selecione Adicionar conta para conectar sua conta do GitHub. Depois de entrar, selecione Conectar para que o Fabric possa acessar sua conta do GitHub.

   

Etapa 2: Conectar-se a um espaço de trabalho

Depois de se conectar a um repositório Git, você precisa se conectar ao seu espaço de trabalho.

1. No menu suspenso, preencha os detalhes sobre o espaço de trabalho e a ramificação que você deseja usar:

   • Para o Azure DevOps:

     • Nome da organização
     • Nome do projeto
     • Nome do repositório
     • Nome da filial
     • Nome da pasta

   • Para o GitHub:

     • URL do repositório
     • Nome da filial
     • Nome da pasta

2. Selecione Conectar e sincronizar.

3. Depois de conectar, selecione Controle do código-fonte para obter informações sobre a ramificação vinculada, o status de cada item e quando ele foi sincronizado pela última vez.

   

Etapa 3: Confirmar alterações no Git

Você pode confirmar suas alterações no Git seguindo estas etapas:

1. Vá para o seu espaço de trabalho.
2. Selecione o ícone Controlo de código-fonte. Você verá um número mostrando quantas alterações ainda não foram confirmadas.
3. No painel de controle Origem , selecione a guia Alterações . Você verá uma lista de tudo o que você alterou, juntamente com ícones de status.
4. Escolha os itens que deseja confirmar. Para selecionar tudo, marque a caixa na parte superior.
5. (Opcional) Adicione um comentário de confirmação sobre suas alterações.
6. Selecione Confirmar.

Depois de confirmar, esses itens desaparecem da lista e seu espaço de trabalho aponta para a confirmação mais recente.

Pipelines de implementação para Git

Siga estas etapas para usar os pipelines de implantação do Git com seu espaço de trabalho do Fabric:

1. Pré-requisitos
2. Criar um pipeline de implantação
3. Atribua um espaço de trabalho ao pipeline de implementação
4. Implantar em um estágio vazio
5. Implantar conteúdo de um estágio para outro

Pré-requisitos para pipelines de implantação

Antes de começar, certifique-se de configurar os seguintes pré-requisitos:

• Uma assinatura ativa do Microsoft Fabric.
• Acesso de administrador em um espaço de trabalho do Fabric.

Etapa 1: Criar um pipeline de implantação

1. No menu Espaços de trabalho, selecione Pipelines de implantação.
2. Quando a janela Criar pipeline de implantação for aberta, insira um nome e uma descrição para o pipeline e selecione Avançar.
3. Escolha quantos estágios você deseja em seu pipeline. Por padrão, você vê três estágios: Desenvolvimento, Teste e Produção.

Etapa 3: Atribuir um espaço de trabalho ao pipeline de implantação

Depois de criar um pipeline, você precisa adicionar o conteúdo que deseja gerenciar ao pipeline. A adição de conteúdo ao pipeline é feita atribuindo um espaço de trabalho a qualquer estágio do pipeline:

1. Abra o pipeline de implantação.

2. No estágio ao qual você deseja atribuir um espaço de trabalho, expanda a lista suspensa intitulada Adicionar conteúdo a este estágio.

3. Selecione o espaço de trabalho que deseja atribuir a este estágio.

   

4. Selecione Atribuir.

Implementar num ambiente vazio

Quando estiver pronto para mover seu conteúdo de um estágio de pipeline para o próximo, você poderá implantá-lo usando uma destas opções:

• Implantação completa: selecione esta opção para implantar tudo no estágio atual para o próximo estágio.
• Implantação seletiva: escolha apenas os itens que deseja implantar.
• Movimento retroativo: Reverter o conteúdo de um estágio posterior para um estágio anterior. Você só pode fazer isso se o estágio de destino estiver vazio (nenhum espaço de trabalho atribuído).

Depois de escolher sua opção de implantação, você pode revisar os detalhes e deixar uma nota sobre a implantação, se desejar.

Implantar conteúdo de um estágio para outro

1. Depois de ter conteúdo em um estágio de pipeline, você pode implantá-lo no próximo estágio, mesmo que o espaço de trabalho do próximo estágio tenha conteúdo. Os itens emparelhados são substituídos. Você pode saber mais sobre esse processo no artigo Implantar conteúdo em um espaço de trabalho existente

2. Você também pode revisar o histórico de implantação para ver a última vez que o conteúdo foi implantado em cada estágio. Para examinar as diferenças entre os dois pipelines antes de implantar, consulte Comparar conteúdo em diferentes estágios de implantação.

   

Parametrização de conexão com a biblioteca de variáveis para a tarefa de cópia

Você pode fazer o seguinte para parametrizar as conexões no trabalho de cópia usando a biblioteca de variáveis. Saiba mais sobre a biblioteca de variáveis.

Etapa 1: Criar uma biblioteca de variáveis

1. Selecione + Novo item em Fabric para criar uma biblioteca de variáveis.

2. Quando a janela Nova biblioteca de variáveis abrir, insira um nome para sua biblioteca de variáveis e selecione Criar.

3. Selecione + Nova variável para criar novas variáveis para conexões de origem e de destino.

4. Adicione o seu ID de ligação diferente como conjuntos de valores às suas variáveis para ambientes diferentes, como desenvolvimento, teste e produção. Pode procurar o ID da sua ligação em Definições | Gerencie conexões e gateways. Lá, você encontrará o ID da sua conexão clicando em Configurações ao lado do nome da conexão.

   

Etapa 2: Usar a biblioteca de variáveis na tarefa de cópia

1. Abra seu trabalho de cópia.

2. Navegue até suas conexões de origem e destino e vincule-as à biblioteca de variáveis criada.

   

Etapa 3: Ativar valores de conexão diferentes em cada espaço de trabalho

Depois de implantar o seu trabalho de cópia do espaço de trabalho de desenvolvimento para teste ou produção, poderá ativar um ID de conexão diferente selecionando o conjunto de valores apropriado para cada espaço de trabalho.

1. Vá para o espaço de trabalho de destino e abra a biblioteca de variáveis.

2. Ative o ID de conexão correspondente para esse espaço de trabalho na biblioteca de variáveis.

   

Limitações conhecidas

Aqui estão algumas das limitações atuais ao usar CI/CD para trabalho de cópia no Data Factory no Microsoft Fabric:

• Variáveis de espaço de trabalho: CI/CD atualmente não suporta variáveis de espaço de trabalho.
• Suporte limitado à integração do Git: atualmente, o Fabric suporta apenas a integração do Git com o Azure DevOps e o GitHub. A integração do Azure DevOps Git é recomendada, pois a integração do GitHub Git tem mais limitações.

Conteúdos relacionados

• Introdução ao processo CI/CD como parte do ciclo ALM no Microsoft Fabric
• Introdução à integração com o Git, a ferramenta Fabric Application Lifecycle Management (ALM)
• Comece a usar as pipelines de implantação, a ferramenta de Gestão do Ciclo de Vida de Aplicações do Fabric (ALM)