Acceso a vistas materializadas y tablas de streaming mediante sistemas externos

De forma predeterminada, las vistas materializadas y las tablas de streaming no están disponibles para acceder desde sistemas externos. Azure Databricks ofrece dos funciones que le permiten poner sus conjuntos de datos a disposición de los clientes de Delta Lake o Iceberg:

  • Acceso externo a datos - Habilitar el acceso externo a datos para vistas materializadas independientes y gestionadas por pipeline y tablas de streaming publica metadatos orientados a externos que permiten a los clientes usar las APIs REST de Unity Catalogue o Iceberg sin requerir una copia completa de datos ni un calendario de actualización separado. Los clientes deben utilizar las APIs REST del catálogo y soportar ya sea Delta Lake 4.0.0 o superior, o la especificación Iceberg V3.

    Para obtener más información sobre el acceso a datos externos para las vistas materializadas gestionadas mediante pipeline y las independientes, así como para las tablas de streaming, véase Habilitar el acceso a datos externos para las tablas de streaming y las vistas materializadas.

  • Modo de compatibilidad (versión preliminar pública): habilitar el modo de compatibilidad para un conjunto de datos genera una versión de solo lectura de los datos en una ubicación elegida, que se debe actualizar cuando se actualizan las tablas. La versión de compatibilidad incluye metadatos v1 tanto para los formatos Delta Lake como Iceberg, junto con una copia de solo lectura de los datos, lo que permite que una gama más amplia de clientes acceda a ellos (incluidos los clientes que deben leer los datos de la tabla directamente, en lugar de hacerlo a través de una API), a costa de introducir retrasos en las actualizaciones de los datos y de asumir los costes de copia de los datos.

    Para obtener más información sobre el modo de compatibilidad, consulte Modo de compatibilidad.

Si los clientes externos admiten las API REST, Azure Databricks recomienda usar el acceso a datos externos para conceder a esos clientes acceso a vistas materializadas o tablas de streaming. Para una gama más amplia de clientes, especialmente clientes más antiguos y otras tablas administradas por el catálogo de Unity, use el modo de compatibilidad.

Capacidad Acceso a datos externos Modo de compatibilidad
Copia de datos No se requiere copia de datos. Se requiere copiar los datos.
Coherencia Coherencia de lectura después de escritura. Los clientes externos ven los cambios en cuanto se producen en el conjunto de datos. Las actualizaciones se producen según una programación. De forma predeterminada, la tabla de compatibilidad se actualiza cada hora. Se puede configurar para que se actualice inmediatamente después de un cambio en la tabla de origen, pero sigue habiendo un retraso debido al tiempo de copia de los datos.
Access Requiere acceso a la API REST "moderna". Admite las API de catálogo de Delta 4.0.0 o superior, o las API de la especificación Iceberg v3 (requiere compatibilidad con vectores de eliminación). Compatible con todos los clientes de Delta Lake o Iceberg.
Objeto de tabla única Las vistas materializadas y las tablas de streaming aparecen como tablas administradas con el mismo nombre que el conjunto de datos original para los clientes externos. Las tablas de compatibilidad aparecen como una nueva tabla en una nueva ubicación para los clientes externos.
Soporte para tipos de tabla Soporta vistas materializadas y tablas de streaming gestionadas por una tubería Lakeflow o creadas como objetos independientes. Admite vistas materializadas y tablas de streaming, ya sean administradas por una canalización de Lakeflow o independiente, y cualquier otra tabla administrada de Unity Catalog.
Cost El costo de mantener los metadatos orientados al exterior forma parte del costo de actualización de la vista materializada o la tabla de streaming. Esto suele ser inferior a 1% del costo y el tiempo de la actualización. La mayoría del costo del modo de compatibilidad es el costo de transferir los datos heredados a la nueva ubicación.

Recursos adicionales

  • Last updated on