Notas de la versión de las canalizaciones de Lakeflow y el proceso de actualización de la versión

En este artículo se explica el proceso de lanzamiento de las canalizaciones de Lakeflow, cómo se administra el entorno de ejecución y se proporcionan enlaces a las notas de la versión de cada lanzamiento.

Versiones actuales del canal de Databricks Runtime

Las versiones actuales de Databricks Runtime para cada canal son:

Para obtener la lista de paquetes instalados en cada entorno de ejecución (bibliotecas de Python, R y Java), consulte las notas de la versión correspondientes de Databricks Runtime vinculadas anteriormente.

Notas de la versión de las canalizaciones de Lakeflow

Las notas de versión se organizan por meses. Dado que las canalizaciones no tienen versión, tanto los cambios del espacio de trabajo como los del entorno de ejecución se aplican automáticamente. En las notas de la versión siguientes se proporciona información general sobre los cambios y correcciones de errores en cada versión:

Antes, las notas de versión estaban organizadas por año y semana del año.

Notas de la versión anteriores

Canales de tiempo de ejecución de las canalizaciones de Lakeflow

Los clústeres de pipeline usan entornos de ejecución basados en las versiones y la compatibilidad indicadas en las notas de la versión de Databricks Runtime. Azure Databricks actualiza automáticamente los entornos de ejecución de las canalizaciones para incorporar mejoras y actualizaciones de la plataforma. Puede utilizar el campo channel en la configuración del pipeline para controlar la versión del entorno de ejecución con la que se ejecuta el pipeline. Los valores admitidos son:

  • current para usar la versión actual del tiempo de ejecución.
  • preview para probar su canalización con los próximos cambios en la versión de tiempo de ejecución.

De forma predeterminada, las canalizaciones se ejecutan mediante la versión current en tiempo de ejecución. Databricks recomienda usar el entorno de ejecución current para cargas de trabajo de producción. Para obtener información sobre cómo usar la preview configuración para probar las canalizaciones con la siguiente versión en tiempo de ejecución, consulte Automatización de las pruebas de las canalizaciones con la siguiente versión en tiempo de ejecución.

Important

Las funciones marcadas como generalmente disponibles o versión preliminar pública están disponibles en el canal current.

Para obtener más información sobre los canales de canalización, consulte el channel campo en la configuración de canalización.

Para comprender cómo se administran las actualizaciones para cada versión, consulte ¿Cómo funcionan las actualizaciones de canalización de Lakeflow?.

¿Cómo puedo encontrar la versión de Databricks Runtime para actualizar una canalización?

Puede consultar el registro de eventos de canalización para buscar la versión de Databricks Runtime para una actualización de canalización específica. Consulte Información de tiempo de ejecución.

¿Cómo funcionan las actualizaciones de canalización de Lakeflow?

Las canalizaciones de Lakeflow no tienen versiones, lo que significa que Azure Databricks actualiza automáticamente el tiempo de ejecución para admitir mejoras y actualizaciones en la plataforma. Databricks recomienda limitar las dependencias externas.

Databricks funciona de forma proactiva para evitar que las actualizaciones automáticas introduzcan errores o problemas en las canalizaciones de producción. Consulte Proceso de actualización de canalizaciones de Lakeflow.

Especialmente para los usuarios que implementan canalizaciones con dependencias externas, Databricks recomienda probar de forma proactiva canalizaciones con preview canales. Consulte Automatización de las pruebas de las canalizaciones con la siguiente versión en tiempo de ejecución.

Proceso de actualización de canalizaciones de Lakeflow

Azure Databricks administra el Databricks Runtime que utilizan los recursos de proceso de la canalización. Actualiza automáticamente el tiempo de ejecución en las áreas de trabajo de Azure Databricks y supervisa el estado de las canalizaciones después de la actualización.

Si Azure Databricks detecta que una canalización no se puede iniciar debido a una actualización, la versión en tiempo de ejecución de la canalización se revierte a la versión anterior que se sabe que es estable y los pasos siguientes se desencadenan automáticamente:

  • El entorno de ejecución de la canalización está fijado en la última versión anterior verificada como correcta.
  • Se notifica el problema al soporte técnico de Databricks.
    • Si el problema está relacionado con una regresión en el tiempo de ejecución, Databricks resuelve el problema.
    • Si el problema se debe a una biblioteca personalizada o un paquete usado por la canalización, Databricks se pone en contacto con usted para resolver el problema.
  • Cuando se resuelve el problema, Azure Databricks inicia la actualización de nuevo.

Important

Azure Databricks solo revierte las canalizaciones que se ejecutan en modo de producción con el canal configurado en current.

Automatización de las pruebas de sus canalizaciones con la próxima versión de Runtime

Para asegurarse de que los cambios en la siguiente versión en tiempo de ejecución no afectan a las canalizaciones, use la característica de canales de canalización:

  1. Cree una canalización de almacenamiento provisional y establezca el canal en preview.
  2. En la interfaz de la canalización, cree una programación para ejecutar la canalización semanalmente y habilite las alertas para recibir una notificación por correo electrónico en caso de que la canalización falle. Databricks recomienda programar ejecuciones de pruebas semanales de canalizaciones, especialmente si usa dependencias de canalización personalizadas.
  3. Si recibe una notificación de error y no puede resolverlo, abra una incidencia de soporte técnico con Databricks.

Note

Si modifica la canalización durante la resolución de errores de canal de versión preliminar, valide esos cambios en el canal current antes de realizar la implementación en producción en current. Un cambio que funciona en preview podría comportarse de forma diferente en current.

Dependencias de canalización

Las canalizaciones admiten dependencias externas; por ejemplo, puede instalar cualquier paquete de Python mediante el %pip install comando . También admiten el uso de scripts de inicialización globales y de ámbito de clúster. Sin embargo, estas dependencias externas, especialmente los scripts de inicialización, aumentan el riesgo de problemas con las actualizaciones en entorno de ejecución. Para mitigar estos riesgos, minimice el uso de scripts de inicialización en las canalizaciones. Si el procesamiento requiere scripts de inicialización, automatice las pruebas de la canalización para detectar problemas al principio; Consulte Automatización de las pruebas de las canalizaciones con la siguiente versión en tiempo de ejecución. Si usa scripts de inicialización, Databricks recomienda aumentar la frecuencia de las pruebas.

  • Last updated on