Crie seu primeiro fluxo de trabalho com Tarefas do Lakeflow

Orquestrar tarefas com o Lakeflow Jobs para ler e processar um conjunto de dados de exemplo. Neste início rápido, você:

  1. Crie um novo caderno e adicione código para ler um conjunto de dados de exemplo de reservas de propriedades.
  2. Salve o conjunto de dados no Unity Catalog.
  3. Crie um novo notebook e adicione código para ler o conjunto de dados do Catálogo do Unity, filtrá-lo por ano e exibir os resultados.
  4. Crie um novo trabalho e configure duas tarefas usando os notebooks.
  5. Execute o trabalho e veja os resultados.

Requisitos

Se seu espaço de trabalho tiver o Catálogo do Unity habilitado e os Trabalhos Sem Servidor estiverem habilitados, o trabalho será executado em computação sem servidor por padrão. Você não precisa de permissão de criação de cluster para executar seu trabalho com computação sem servidor.

Caso contrário, você deverá ter permissão de criação de cluster para criar computação de trabalho ou permissões para recursos de computação para todos os fins.

Esse guia de início rápido lê de samples.wanderbricks.bookings, que está disponível em todos os espaços de trabalho com o Unity Catalog habilitado, portanto não há dados de origem para configurar. Para gravar a tabela que o segundo notebook lê, você precisa de permissão para criar um esquema em um catálogo (os privilégios USE CATALOG e CREATE SCHEMA).

Para definir essas permissões, consulte o administrador do Databricks ou a referência de privilégios do Catálogo Unity.

Criar blocos de anotações

As etapas a seguir criam dois notebooks para serem executados neste fluxo de trabalho.

Recuperar e salvar dados

Para criar um caderno que leia o conjunto de dados de exemplo e o salve no Unity Catalog:

  1. Clique em Novo ÍconeNovo na barra lateral e clique em Bloco de Anotações. O Databricks cria e abre um novo notebook em branco em sua pasta padrão. O idioma padrão é o idioma usado mais recentemente e o notebook é anexado automaticamente ao recurso de computação que você usou mais recentemente.

  2. (Opcional) Renomeie o notebook Recuperar dados da reserva.

  3. Se necessário, altere o idioma padrão para Python.

  4. Copie o código Python a seguir e cole-o na primeira célula do notebook. Antes de executá-lo, verifique se catalog e schema apontam para um local em que você possa gravar. O código cria o esquema caso ele não exista.

    catalog = "main"
schema = "example_output"

spark.sql(f"CREATE SCHEMA IF NOT EXISTS {catalog}.{schema}")

bookings = spark.read.table("samples.wanderbricks.bookings")
bookings.write.mode("overwrite").saveAsTable(f"{catalog}.{schema}.bookings")

Ler e exibir os dados filtrados

Para criar um bloco de anotações que filtra e exibe seus dados:

  1. Clique em Novo ÍconeNovo na barra lateral e clique em Bloco de Anotações.

  2. (Opcional) Renomeie o notebook para Filtrar dados de reservas.

  3. O código Python a seguir lê a tabela que você salvou na etapa anterior e cria uma visualização temporária. Também cria um widget que você pode usar para filtrar os dados na visualização por ano de check-in. Use os mesmos valores de catalog e schema que você usou no primeiro notebook.

    from pyspark.sql.functions import year

catalog = "main"
schema = "example_output"

bookings = spark.read.table(f"{catalog}.{schema}.bookings")
bookings.createOrReplaceTempView("bookings_table")
years = spark.sql("SELECT DISTINCT year(check_in) AS year FROM bookings_table").toPandas()["year"].tolist()
years.sort()
dbutils.widgets.dropdown("year", "2025", [str(x) for x in years])
display(bookings.filter(year(bookings.check_in) == dbutils.widgets.get("year")))

Criar um trabalho

O trabalho que você está criando consiste em duas tarefas.

Para criar a primeira tarefa:

  1. No seu espaço de trabalho, clique no ícone Fluxos de Trabalho.Tarefas e Pipelines na barra lateral.
  2. Clique em Criar e depois em Job.
  3. Clique no bloco do Notebook para configurar a primeira tarefa. Se a guia Notebook não estiver disponível, clique em Adicionar outro tipo de tarefa e pesquise por Notebook.
  4. (Opcional) Substitua o nome da tarefa, cujo padrão é New Job <date-time>, pelo nome da sua tarefa.
  5. No campo Nome da tarefa , insira um nome para a tarefa; Por exemplo, recuperação-reservas.
  6. Se necessário, selecione Notebook no menu suspenso Tipo.
  7. No menu suspenso Origem, selecione Workspace, o que permite usar um notebook salvo anteriormente.
  8. Para Caminho, use o explorador de arquivos para localizar o primeiro notebook que você criou, clique no nome do notebook e clique em Confirmar.
  9. Clique em Salvar tarefa. Uma notificação é exibida no canto superior direito da tela.

Para criar a segunda tarefa:

  1. Clique no ícone Plus.Adicionar tarefa>Bloco de anotações.
  2. No campo Nome da tarefa , insira um nome para a tarefa; Por exemplo, filtros-reservas.
  3. Em Caminho, use o navegador de arquivos para localizar o segundo notebook que você criou, clique no nome do notebook e clique em Confirmar.
  4. Clique em Adicionar em Parâmetros. No campo Chave, insira year. No campo Valor, insira 2025.
  5. Clique em Salvar tarefa.

Executar a tarefa

Para executar o trabalho imediatamente, clique no botão Executar Agora no canto superior direito.

Exibir detalhes de execução

  1. Clique na guia Execuções e clique no link na coluna Hora de Início para abrir a execução que você deseja exibir.

  2. Clique em qualquer uma das tarefas para ver a saída e os detalhes. Por exemplo, clique na tarefa filter-bookings para visualizar a saída e os detalhes da execução da tarefa de filtro:

    Veja os resultados das reservas de filtro

Execução com parâmetros diferentes

Para executar novamente a tarefa e filtrar as reservas de um ano diferente:

  1. Clique em Blue Down Caret ao lado de Executar agora e selecione Executar agora com configurações diferentes.
  2. No campo Valor, insira 2024.
  3. Clique em Executar.

Recursos adicionais

  • Last updated on