Referencia del lenguaje Python para canalizaciones de Lakeflow

La interfaz de Python de las canalizaciones de Lakeflow está definida en el módulo pyspark.pipelines, importado como dp.

• Para obtener información conceptual y una introducción al uso de Python para canalizaciones, consulte Desarrollo de código de canalización con Python.
• Para obtener la referencia de SQL, consulte la referencia del lenguaje SQL de Pipeline.
• Para obtener más información específica sobre la configuración del cargador automático, consulte ¿Qué es el cargador automático?.

pipelines Información general del módulo

Las funciones de Python de las canalizaciones de Lakeflow se definen en el módulo pyspark.pipelines (importado como dp). Las canalizaciones implementadas con la API de Python deben importar este módulo:

from pyspark import pipelines as dp

Canalizaciones de Apache Spark™

Apache Spark incluye canalizaciones declarativas a partir de Spark 4.1, disponibles a través del pyspark.pipelines módulo. Databricks Runtime amplía estas funcionalidades de código abierto con api adicionales e integraciones para uso de producción administrado.

El código escrito con el módulo de código abierto pipelines se ejecuta sin modificaciones en Azure Databricks. Las siguientes características no forman parte de Apache Spark:

• dp.create_auto_cdc_flow
• dp.create_auto_cdc_from_snapshot_flow
• @dp.expect(...)

El módulo pipelines se llamaba anteriormente dlt en Azure Databricks. Para más información y más información sobre las diferencias de Apache Spark, consulte ¿Qué ha ocurrido con @dlt?.

Funciones para definiciones de conjuntos de datos

Las canalizaciones usan decoradores de Python para definir conjuntos de datos como vistas materializadas y tablas de streaming. Consulte Funciones para definir conjuntos de datos.

Referencia de API

• append_flow
• create_auto_cdc_flow
• create_auto_cdc_from_snapshot_flow
• create_sink
• create_streaming_table
• Expectativas
• foreach_batch_sink
• vista_materializada
• table
• temporary_view
• update_flow

Requisitos de codificación para canalizaciones de Python

Estos son requisitos importantes para implementar canalizaciones con la interfaz de Python de canalizaciones de Lakeflow:

• Las canalizaciones de Lakeflow evalúan el código que define una canalización varias veces durante la planeación y las ejecuciones de canalización. Las funciones de Python que definen conjuntos de datos deben incluir solo el código necesario para definir la tabla o vista. La lógica arbitraria de Python incluida en las definiciones de conjunto de datos podría provocar un comportamiento inesperado.
• No intente implementar la lógica de supervisión personalizada en las definiciones del conjunto de datos. Vea Definición de la supervisión personalizada de canalizaciones DLT con enlaces de eventos.
• La función que se usa para definir un conjunto de datos debe devolver un DataFrame de Spark. No incluya lógica en las definiciones de conjunto de datos que no se relacionan con un DataFrame devuelto.
• Nunca use métodos que guarden o escriban en archivos o tablas como parte del código del conjunto de datos de canalización.

Ejemplos de operaciones de Apache Spark que nunca se deben usar en el código de canalización:

• collect()
• count()
• toPandas()
• save()
• saveAsTable()
• start()
• toTable()

¿Qué le pasó a @dlt?

Anteriormente, Azure Databricks usaba el dlt módulo para admitir la funcionalidad de canalización. El dlt módulo se ha reemplazado por el pyspark.pipelines módulo. Puede seguir usando dlt, pero Databricks recomienda usar pipelines.

Diferencias entre DLT, canalizaciones de Lakeflow y canalizaciones declarativas de Apache Spark

En la tabla siguiente se muestran las diferencias en la sintaxis y la funcionalidad entre DLT, las canalizaciones de Lakeflow y las canalizaciones declarativas de Apache Spark.

Para obtener una comparación a nivel de funciones de lo que las canalizaciones de Lakeflow comparten con las canalizaciones declarativas de Apache Spark y añaden a ellas, consulte Canalizaciones declarativas de Apache Spark.

Para obtener una correspondencia propiedad por propiedad entre la configuración de la canalización y la especificación del proyecto SDP, consulte Referencia de propiedades de la canalización.