Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Implemente o carregamento e as transformações de dados nos pipelines do Lakeflow com consultas que definem tabelas de streaming e visões materializadas. Os pipelines do Lakeflow dão suporte a interfaces SQL e Python. Como eles fornecem funcionalidade equivalente para a maioria dos casos de uso de processamento de dados, você pode escolher qualquer interface com a qual você esteja mais confortável. Para obter ajuda para decidir, consulte Escolher entre SQL e Python.
desenvolvimento Python
Crie pipelines usando código Python.
| Tópico | Description |
|---|---|
| Desenvolver código de pipeline com Python | Uma visão geral do desenvolvimento de pipelines no Python. |
| Referência da linguagem Python para pipelines do Lakeflow | Documentação de referência do módulo pipelines do Python. |
| Gerenciar dependências de Python para pipelines | Instruções para gerenciar bibliotecas de Python em pipelines. |
| Importar módulos Python de pastas Git ou arquivos de Workspace | Instruções para usarem os módulos Python armazenados no Azure Databricks. |
Desenvolvimento do SQL
Crie pipelines usando o código SQL.
| Tópico | Description |
|---|---|
| Desenvolver código de pipelines do Lakeflow com SQL | Uma visão geral do desenvolvimento de pipelines no SQL. |
| Referência da linguagem SQL do pipeline | Documentação de referência da sintaxe SQL para pipelines do Lakeflow. |
| Pipelines independentes | Use o DATAbricks SQL para trabalhar com pipelines. |
Outros tópicos de desenvolvimento
Os tópicos a seguir descrevem outras maneiras de desenvolver pipelines.
| Tópico | Description |
|---|---|
| Converter um pipeline em um projeto de agrupamento | Converta um pipeline existente em um pacote, o que permite que você gerencie sua configuração de processamento de dados em um arquivo YAML controlado pela origem para facilitar a manutenção e implantações automatizadas em ambientes de destino. |
| Metaprogramação com pipelines Lakeflow |
Crie pipelines com dlt-meta. Use a biblioteca código aberto dlt-meta para automatizar a criação de pipelines com uma estrutura orientada por metadados.Tutorial: Criar vários fluxos com parâmetros diferentes. Crie vários fluxos em um loop em Python. |
| Desenvolver código de pipeline em seu ambiente de desenvolvimento local | Uma visão geral das opções para desenvolver pipelines localmente. |