Mover dados do BD do SQL do Azure para o Lakehouse por meio do pipeline

Neste tutorial, você criará um pipeline para mover dados no Banco de Dados SQL do Azure para o Lakehouse. Essa experiência mostra uma demonstração rápida sobre como usar a atividade de cópia de pipeline e como carregar dados no Lakehouse.

Pré-requisitos

Para começar, você deve concluir os seguintes pré-requisitos:

  • Uma conta de locatário do Microsoft Fabric com uma assinatura ativa. Crie uma conta gratuitamente.
  • Verifique se você tem um espaço de trabalho habilitado para o Microsoft Fabric: Criar um espaço de trabalho.

Criar um pipeline

  1. Navegue até o Power BI.

  2. Selecione o ícone do Power BI na parte inferior esquerda da tela e selecione Fabric para abrir a home page do Data Factory.

  3. Navegue até seu workspace do Microsoft Fabric. Se você tiver criado um novo workspace na seção Pré-requisitos anterior, use este.

    Captura de tela da janela de workspaces em que você navega para o workspace.

  4. Escolha + Novo item.

  5. Pesquise e selecione Pipeline e insira um nome de pipeline para criar um novo pipeline. para criar um novo pipeline.

    Captura de tela mostrando o novo botão de pipeline no espaço de trabalho recém-criado.

    Captura de tela mostrando o nome da criação de um novo pipeline.

Copiar dados usando um pipeline

Nesta sessão, você começará a criar seu pipeline seguindo as etapas abaixo sobre como copiar dados do Banco de Dados SQL do Azure para o Lakehouse.

Adicione uma atividade de Cópia

  1. Abra um pipeline existente ou crie um novo pipeline.

  2. Adicione uma atividade de cópia selecionando Adicionar atividade de pipeline >Atividade de Cópia ou selecionando Copiar dados>Adicionar à tela na guia Atividades.

    Captura de tela mostrando duas maneiras de adicionar uma atividade de cópia.

Configurar sua origem na guia de origem

  1. Em Conexão, selecione uma conexão existente ou selecione Mais para criar uma nova conexão.

    1. Escolha o tipo de fonte de dados na janela pop-up. Você usará SQL do Azure Banco de Dados como exemplo. Selecione Banco de Dados SQL do Azure e Continuar.

      Captura de tela mostrando como selecionar a fonte de dados.

    2. Ele navega até a página de criação de conexão. Preencha as informações de conexão necessárias no painel e selecione Criar. Para obter os detalhes da criação da conexão para cada tipo de fonte de dados, você pode consultar cada artigo do conector.

    3. Depois que a conexão for criada com êxito, ela o levará de volta à página de pipeline. Em seguida, selecione Atualizar para buscar a conexão que você criou na lista suspensa. Você também pode escolher uma conexão de banco de dados SQL do Azure existente na lista suspensa diretamente se já a tiver criado antes. Os recursos de Testar conexão e Editar estão disponíveis para cada conexão selecionada. Em seguida, selecione Banco de dados do SQL do Azure SQL em Tipo de conexão.

  2. Especifique uma tabela a ser copiada. Selecione Pré-visualizar dados para visualizar a tabela de origem. Você também pode usar Consulta e Procedimento armazenado para ler dados de sua fonte.

  3. Expanda Avançado para configurações mais avançadas.

    Captura de tela de configurações avançadas.

Configurar seu destino na guia de destino

  1. Em Conexão, selecione uma conexão existente ou selecione Mais e procure pelo seu lakehouse.

  2. Depois que a conexão for criada com êxito, ela o levará de volta à página de pipeline. Em seguida, selecione Atualizar para buscar a conexão que você criou na lista suspensa. Você também pode escolher uma conexão existente do Lakehouse na lista suspensa diretamente se já a tiver criado antes.

  3. Especifique uma tabela ou configure o caminho do arquivo para definir o arquivo ou a pasta como o destino. Aqui, selecione Tabelas e especifique uma tabela para gravar dados.

  4. Expanda Avançado para configurações mais avançadas.

Agora você pode salvar seu pipeline com essa única atividade de cópia ou continuar a projetar seu pipeline.

Programar e executar o pipeline

Depois de concluir a configuração do pipeline, execute o pipeline para disparar a atividade de cópia. Você também pode agendar a execução do pipeline, se necessário.

  1. Alterne para a guia Página Inicial e selecione Executar. Uma caixa de diálogo de confirmação será exibida. Em seguida, selecione Salvar e executar para iniciar a atividade.

    Captura de tela da atividade de salvamento e execução.

  2. Você pode monitorar o processo em execução e verificar os resultados na guia Saída abaixo da tela do pipeline. Selecione o botão Detalhes da execução (com o ícone de óculos destacado) para exibir os detalhes da execução.

    Captura de tela da saída do pipeline.

  3. Os detalhes da execução mostram quantos dados foram lidos e gravados e vários outros detalhes sobre a execução.

    Captura de tela dos detalhes da atividade de cópia.

  4. Você também pode agendar o pipeline para ser executado com uma frequência específica, conforme necessário. Veja abaixo um exemplo de como agendar o pipeline para ser executado a cada 15 minutos. Também é possível especificar a hora Início e a hora Término do seu agendamento. Se você não especificar uma hora de início, a hora de início será a hora em que seu agendamento for aplicado. Se você não especificar uma hora de término, a execução do pipeline se repetirá a cada 15 minutos.

    Captura de tela do agendamento do pipeline.

Conteúdo relacionado

  • Last updated on