Crie uma preparação visual de dados no Lakeflow Designer

O Lakeflow Designer permite-lhe construir fluxos de trabalho de transformação de dados numa tela visual de arrastar e largar. Esta página explica como criar uma preparação visual de dados — desde adicionar uma fonte de dados e encadear operadores até pré-visualizar resultados e escrever no Unity Catalog.

Requisitos

Para usar o Lakeflow Designer, deve ter:

• Um espaço de trabalho Azure Databricks com o Unity Catalog ativado.
• CAN USE Permissão em pelo menos um recurso de computação de propósito geral (serverless ou multiusos).

Selecione qual computação usar no seletor de computação no canto superior direito do Designer, ao lado do botão Agendar .

Criar uma nova preparação visual de dados

Para criar uma nova preparação visual de dados, clique Novo na barra lateral e seleciona preparação de dados visuais.

O Designer começa com um ecrã de boas-vindas onde pode adicionar uma fonte de dados ou explorar uma preparação visual de dados de exemplo.

Para encontrar os teus ficheiros de preparação de dados visuais existentes, abre a página de preparação de dados visuais na barra lateral. Esta página lista todos os seus ficheiros de preparação de dados visuais e inclui um vídeo de introdução para o ajudar a começar a usar o Lakeflow Designer.

Adicionar uma fonte de dados

Cada preparação de dados visuais, começa com uma ou mais fontes de dados. O operador Source representa uma fonte de dados na tela.

Para adicionar uma fonte de dados:

1. Adicione um operador de Fonte. No ecrã de boas-vindas, clique em Selecionar operador de origem. A partir da tela, abra o menu do operador e selecione Fonte.
2. No painel de configuração Origem, escolha como importar os seus dados:
   • Selecione uma tabela existente.
   • Carrega um ficheiro CSV ou Excel local.
   • Cria uma tabela a partir de um ficheiro.
   • Importa do Google Drive ou SharePoint.
3. Selecione ou configure a sua fonte de dados. O operador Source aparece na tela.

Também pode arrastar e largar um ficheiro CSV ou Excel diretamente para a tela para criar rapidamente um operador Source.

Para alterar a fonte mais tarde, abra o operador Source e clique em Selecionar uma nova fonte de dados. Modificar a fonte invalida a cache de saída para todos os operadores a jusante.

Para obter detalhes completos sobre cada opção de ingestão, consulte Ingestão de dados no Lakeflow Designer.

Adicionar e configurar operadores

Para adicionar um operador, abra o menu do operador no painel lateral do lado esquerdo da tela. Clique num operador para o adicionar à tela, ou arraste um operador do menu para a tela. Também pode clicar no + botão ao lado de qualquer operador existente para adicionar um novo operador com ligação automática.

Para configurar um operador, clique duas vezes nele, ou passe o rato por cima dele e clique (Editar operador), para abrir o painel de configuração. Defina as opções para esse tipo de operador e depois clique em Aplicar.

Para detalhes sobre cada operador disponível, consulte Operadores incorporados no Lakeflow Designer. Para detalhes sobre como criar os seus próprios operadores definidos pelo utilizador, veja Operadores definidos pelo utilizador no Lakeflow Designer.

Operadores de conexão

Para ligar dois operadores, clique e arraste da alavanca de saída (o pequeno círculo na extremidade direita de um operador) até à alavanca de entrada (o pequeno círculo na extremidade esquerda do próximo operador). Isto especifica que os dados fluem do primeiro operador para o segundo. Os dados fluem da esquerda para a direita através da preparação visual dos dados.

Alguns operadores, como Join e Combine, aceitam múltiplas entradas.

Para remover uma ligação, passe o rato por cima dela e clique no na barra de ferramentas que aparece sobre a ligação.

Use Código Genie

A qualquer momento enquanto editas no Lakeflow Designer, podes criar prompts para o Genie Code para ajudar. Ver Código Génio.

Ao usar o Código Genie, os seguintes botões fornecem funcionalidades adicionais:

• Anexa um ficheiro para usar como parte do prompt.
• Use para mencionar objetos, como tabelas ou ficheiros, como parte do prompt.
• : Inicia um novo tópico de chat com o contexto do novo agente.
• : Abre o painel lateral para o histórico de conversas e uma visão mais detalhada do que o agente está a fazer.

O Genie Code mostra um resumo numa linha da sua edição mais recente acima da caixa de texto.

Resultados de pré-visualização

Selecione qualquer operador para ver os resultados no painel de saída na parte inferior do ecrã. Para a maioria dos tipos de operadores, os dados de entrada estão à esquerda e os dados de saída à direita. Operadores que produzem resultados que não sejam tabelas, como gráficos, HTML ou imagens, renderizam essas saídas diretamente no painel de saída.

Use o controlo de vista no painel de saída para alternar entre entrada e saída (o padrão), apenas entrada ou apenas saída. Na vista combinada, arraste o divisor para redimensionar os painéis de entrada e saída.

Por defeito, os operadores processam uma amostra limitada de dados, para pré-visualizações. Utilize o menu suspenso Linhas analisadas no painel de saída para controlar quantas linhas são processadas:

• Linhas analisadas: Limite: Processa as primeiras N linhas de entrada. Especifique o número de linhas no campo ao lado do menu pendente.
• Linhas digitalizadas: Max: Processa todas as linhas de entrada. No modo Max, o operador também mostra a contagem exata de linhas de saída abaixo do operador na tela.

A definição de Rows scanned controla apenas o processamento de pré-visualização. As execuções agendadas e as execuções de tarefas processam sempre a totalidade do conjunto de dados.

Execute a preparação completa dos dados visuais

Clique em Executar tudo para executar cada operador na tela contra o conjunto de dados completo numa única ação, sem pré-visualizar cada operador individualmente. O Designer executa o ficheiro inteiro de preparação visual de dados e atualiza os resultados de cada operador e, em seguida, mostra o número exato de linhas de saída de cada operador por baixo deste na área de desenho.

Transforme os dados diretamente na tabela de resultados

Filtra e transforma os teus dados diretamente na tabela de saída. Depois de renomear uma coluna, filtrar ou inserir uma coluna na tabela de resultados, clique em Aplicar à tela para criar os operadores que reproduzem exatamente o que fez na tabela.

Pode aplicar as seguintes operações a partir da tabela de resultados:

• Renomear colunas
• Remover colunas
• Inserir colunas
• Reorganizar colunas
• Alterar o tipo de dado
• Filter
• Eliminar duplicados
• Remover nulos

Escrever resultados

Adicione um operador Output para escrever os seus resultados. O operador de Saída pode escrever numa tabela do Catálogo Unity, publicar resultados como uma vista materializada, ou escrever um ficheiro CSV, Excel ou JSON num volume do Catálogo Unity.

1. Abra o menu do operador e selecione Saída, ou clique + ao lado do seu último operador e selecione Saída.
2. Liga a alavanca de saída da tua última transformação à alavanca de entrada do operador de saída , se ainda não estiver ligada.
3. Clique duas vezes no operador de Saída para abrir o seu painel de configuração.
4. Selecione um tipo de Saída e configure o destino. Para uma tabela, introduza um nome de Tabela, selecione a localização de Saída (catálogo e esquema) e selecione um modo de Escrita.
5. Clique em Executar.

Para o conjunto completo de tipos de saída e modos de escrita, veja Saída.

Agendar ou executar em produção

Podes automatizar os teus fluxos de trabalho agendando-os como tarefas. Clique no botão Agendar no menu superior para criar uma tarefa agendada para a sua preparação de dados visuais, ou adicione a preparação de dados visuais a uma tarefa maior no Azure Databricks.

Para mover uma preparação visual de dados para produção, incluindo armazená-la no Git, implementá-la com Pacotes de Automação Declarativa e parametrizá-la entre ambientes, consulte Mover um ficheiro de preparação de dados visuais para produção.

Exportar e importar um ficheiro de preparação de dados visuais

Os ficheiros de preparação de dados visuais são armazenados nativamente no espaço de trabalho. Podes exportá-los e importá-los para os mover entre espaços de trabalho ou partilhá-los.

Para exportar um ficheiro de preparação de dados visuais:

1. Clica no canto superior direito.
2. Selecione Ficheiro>Exportar.
3. O ficheiro é exportado como <file_name>.designer.ipynb.

Para importar um ficheiro de preparação de dados visuais:

1. No sistema de ficheiros do espaço de trabalho, clique .
2. Selecione Importar.
3. Seleciona o ficheiro de preparação de dados visuais para importar.

Para versionar um ficheiro de preparação de dados visuais com Git e levá-lo para produção, veja Mover um ficheiro de preparação de dados visuais para produção.

Renomeie um ficheiro de preparação de dados visuais

Para renomear um ficheiro visual de preparação de dados, clique no separador que mostra o seu nome no topo do editor e depois insira um novo nome.

Apagar um ficheiro de preparação de dados visuais

Para apagar um ficheiro de preparação visual de dados, abra o menu kebab do ficheiro e selecione Mover para o lixo.

Para eliminar vários ficheiros de preparação de dados visuais ao mesmo tempo, abra o Workspace na navegação à esquerda, selecione os ficheiros que quer remover e selecione Mover para o lixo no topo da lista.

Dicas adicionais ao trabalhar na tela

As seguintes ações estão disponíveis na tela para o ajudar a editar a preparação dos dados visuais.

• Renomear um operador: Clique na caixa no topo de qualquer painel de configuração para renomear o operador. Nomes descritivos tornam a preparação dos dados visuais mais fácil de compreender à primeira vista. Alguns operadores, como o operador SQL, podem referenciar a saída de outros operadores pelo nome.
• Copiar um operador: Passe o rato sobre um operador e clique ou selecione um operador e pressione Cmd/Ctrl+C e depois Cmd/Ctrl+V.
• Eliminar um operador: Passe o rato sobre um operador e clique na barra de ferramentas que aparece acima, ou selecione o operador e pressione Suprimir.
• Ativar ou desativar um operador: Clique com o botão direito num operador, ou num grupo, e selecione Desativar para o excluir das execuções, ou Permitir para o incluir novamente. Um operador desativado não produz linhas de saída, pelo que os operadores subsequentes recebem um resultado vazio até o ativar.
• Layout automático: Clique no na barra de ferramentas do cabeçalho para organizar automaticamente todos os operadores num layout compacto.
• Ajustar a vista: Clique no na barra de ferramentas de cabeçalho para ver todos os operadores na viewport atual.
• Desfazer e refazer: Pressiona Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z, ou usa os botões de desfazer e refazer na barra de ferramentas do cabeçalho.
• Abra a paleta de comandos: Pressione Cmd+Shift+P no macOS ou Ctrl+Shift+P no Windows para aceder rapidamente às ações do editor.
• Ver código gerado: Abra o separador do índice no menu esquerdo, selecione um operador e depois expanda a secção Código Gerado para ver o código que o Designer gera para ele. Para mais informações, consulte o índice.
• Ver histórico de versões: Clique No painel direito para abrir o histórico de versões do Visual Data Prep, que lista as suas alterações. Selecione uma versão para ver uma diferença visual na tela que a compare com a versão seguinte, com operadores adicionados, removidos e alterados destacados. Ao passar o rato sobre um operador no índice, o operador correspondente é realçado em ambas as versões da comparação.

Recursos adicionais

• Ingestão de dados no Lakeflow Designer
• Operadores incorporados no Lakeflow Designer