Administración de dependencias de Python para canalizaciones

Las canalizaciones Lakeflow admiten dependencias externas en sus canalizaciones. Databricks recomienda usar uno de los dos patrones para instalar paquetes de Python:

  1. Use la configuración del entorno para agregar paquetes al entorno de canalización para todos los archivos de origen de una canalización.
  2. Importe módulos o bibliotecas del código fuente almacenado en archivos del área de trabajo. Consulte Importación de módulos de Python desde carpetas de Git o archivos de área de trabajo.

Las canalizaciones que utilizan el cómputo clásico también admiten scripts de inicialización de ámbito de clúster. Las canalizaciones de Lakeflow sin servidor no admiten scripts de inicialización. En todos los casos, Databricks recomienda usar la configuración del entorno en lugar de scripts de inicialización, ya que las dependencias externas, especialmente los scripts de inicialización, aumentan el riesgo de problemas con las actualizaciones en tiempo de ejecución. Si el procesamiento requiere scripts de inicialización, automatice las pruebas de la canalización para detectar problemas al principio y Databricks recomienda aumentar la frecuencia de las pruebas.

Importante

Dado que las bibliotecas de JVM no se admiten en canalizaciones, no use un script de inicialización para instalar bibliotecas de JVM. Sin embargo, puede instalar otros tipos de bibliotecas, como bibliotecas de Python, con un script de inicialización.

Bibliotecas de Python

Para especificar bibliotecas externas de Python, edite el entorno de la canalización.

  1. En el editor de canalización, haga clic en Configuración.
  2. En Entorno de canalización, seleccione Icono de lápiz.Editar entorno.
  3. Haga clic en el icono Más.Agregar dependencia.
  4. Escriba el nombre de la dependencia. Databricks recomienda anclar la versión de la biblioteca. Por ejemplo, para agregar una dependencia de la simplejson versión 3.19, escriba simplejson==3.19.*.

También puede instalar un paquete de rueda de Python desde un volumen de Unity Catalog especificando su ruta, como /Volumes/my_catalog/my_schema/my_ldp_volume/ldpfns-1.0-py3-none-any.whl.

Nota:

Las canalizaciones no admiten el reinicio manual del proceso de Python con dbutils.library.restartPython(). Declare todas las dependencias de Python a través de la configuración del entorno en lugar de instalarlas o volver a cargarlas en tiempo de ejecución. El uso de la configuración del entorno también permite que las canalizaciones reutilicen las bibliotecas almacenadas en caché entre ejecuciones en lugar de reinstalarlas en cada ejecución.

Versión del entorno

De forma predeterminada, la versión del lenguaje Python y el conjunto de bibliotecas preinstaladas disponibles para su canalización proceden de la versión actual del canal de Databricks Runtime. Consulte las notas de la versión de Lakeflow pipelines y el proceso de actualización de versiones para conocer las versiones actuales y las listas de paquetes para cada entorno de ejecución.

Importante

Esta característica se encuentra en su versión beta. Los administradores del área de trabajo pueden controlar el acceso a esta característica desde la página Vistas previas . Consulte Administrar versiones preliminares de Azure Databricks.

Para anclar la versión del lenguaje Python y el conjunto de bibliotecas preinstaladas independientemente de las actualizaciones de Databricks Runtime, configure una versión de entorno en la canalización. Mientras se establece una versión del entorno, las actualizaciones de Databricks Runtime no cambian la versión de idioma de Python ni las versiones de biblioteca preinstaladas y las dependencias externas que agregue a través de la configuración de Environment están superpuestas a esta base. Consulte Configuración de versiones de entorno para canalizaciones.

Compatibilidad con la biblioteca de Scala y Java

No, las canalizaciones solo admiten SQL y Python. No se pueden usar bibliotecas JVM en una canalización. La instalación de bibliotecas JVM provoca un comportamiento impredecible y puede dejar de funcionar en futuras versiones de las canalizaciones de Lakeflow. Si la canalización usa un script de inicialización, también debe asegurarse de que el script no instala las bibliotecas de JVM.

  • Last updated on