Uso compartido de datos detrás de un firewall con SecureConnect

SecureConnect simplifica la red para el intercambio de datos, permitiendo a los proveedores de datos compartir con diferentes destinatarios sin permitir incluir a cada destinatario en sus reglas de red de almacenamiento. Además, SecureConnect permite a los proveedores compartir contenido desde el almacenamiento en la nube a través de un punto de conexión privado.

Funcionamiento de SecureConnect

Para usar SecureConnect, un proveedor realiza una configuración única que permite a los destinatarios de Azure Databricks acceder al almacenamiento del proveedor detrás de un cortafuegos o punto final privado. Azure Databricks enruta las solicitudes de destinatario a través de un proxy administrado, por lo que el proveedor no necesita actualizar su firewall de almacenamiento al agregar un nuevo destinatario.

Los destinatarios acceden a los datos compartidos mediante su configuración de OpenSharing existente:

• Los receptores de Azure Databricks en cómputo sin servidor pueden acceder a recursos compartidos sin necesidad de cambios en el firewall por proveedor.
• Los destinatarios de Azure Databricks de un proceso clásico y los destinatarios abiertos incluyen en la lista de permitidos un único conjunto de direcciones IP del plano de control de Azure Databricks para la región del proveedor.

Para optimizar el rendimiento, los destinatarios que usan computación sin servidor en la misma región que el almacenamiento del proveedor leen directamente del almacenamiento, en lugar de hacerlo a través del proxy administrado. Los destinatarios entre regiones y entre nubes, así como los destinatarios en entornos de computación clásicos, acceden a través del proxy gestionado. Esta diferencia afecta a cómo se factura el uso de la red. Ver facturación.

Sin SecureConnect, un proveedor debe agregar el identificador de red de cada destinatario a su firewall de almacenamiento, coordinando con el destinatario y un administrador de plataforma en la nube para cada nuevo destinatario.

Configuración de SecureConnect como proveedor

La configuración de SecureConnect implica configurar el firewall de almacenamiento para permitir el acceso y habilitar SecureConnect para sus metastores y destinatarios.

Paso 1: Configuración del firewall de almacenamiento

En las instrucciones siguientes se supone que los recursos compartidos y el metastore del proveedor están en la misma región. Para los costos de red más bajos, mantenga la región de los recursos compartidos igual que la región de metastore del proveedor.

SecureConnect accede a tu almacenamiento desde el plano de datos serverless a través de la red de tu proveedor de nube, no desde internet público. Elige una de las siguientes opciones de configuración según si tu almacenamiento requiere conectividad privada.

Opción 1: Incluir la red sin servidor de Azure Databricks en la lista de permitidos

Permite el acceso añadiendo el identificador de red serverless de Azure Databricks a tu firewall de almacenamiento. Si el almacenamiento está detrás de un punto de conexión privado, consulte la sección siguiente.

Para permitir que Azure Databricks acceder a los recursos, asocie el recurso de Azure a un perímetro de seguridad de red en modo de transición y agregue la AzureDatabricksServerless.{region} etiqueta de servicio a la lista de permitidos, donde {region} es la región del plano de control del proveedor. Consulte Configuración de un firewall para el acceso a procesos sin servidor.

Opción 2: Configurar la conectividad privada

Usa esta opción si tu almacenamiento compartido está detrás de un punto final privado.

Un administrador de cuenta debe configurar una configuración de conectividad de red (NCC) y adjuntarla al metastore que hospeda los datos compartidos. Para obtener más información sobre las NCC, consulte ¿Qué es una configuración de conectividad de red (NCC)?.

Un NCC asociado a un área de trabajo no se puede asociar a una tienda de metadatos. Un NCC aplicado a un metastore para OpenSharing se aplica a todos los recursos compartidos adjuntos al metastore.

Cree una NCC y reglas de punto de conexión privado para la cuenta de almacenamiento, pero no adjunte el NCC a un área de trabajo. SecureConnect también requiere una blob regla de punto de conexión privado y una dfs regla de punto de conexión privado, por lo que debe crear una regla de punto de conexión privado para cada tipo de subrecurso.

Consulte Configurar la conectividad privada a recursos de Azure para la configuración de NCC y del punto de conexión privado.

Adjunte el NCC al metastore de OpenSharing:

1. Como administrador de cuentas de Azure Databricks, vaya a la consola de la cuenta.
2. En la barra lateral, haga clic en Catálogo.
3. Haga clic en el nombre del metastore openSharing para abrir sus detalles.
4. En OpenSharing Network connectivity configuration (NCC) (Configuración de conectividad de red [NCC]) haga clic en Editar.
5. Busque y seleccione el NCC que creó para OpenSharing.
6. Haz clic en Guardar.

Paso 2: Habilitar SecureConnect en un metastore

Un administrador de metastore puede configurar la metastore para que los nuevos destinatarios usen SecureConnect automáticamente. De forma predeterminada, los destinatarios nuevos y existentes no están inscritos en SecureConnect. Debe configurar los destinatarios existentes por separado. Consulte Paso 3: Habilitar SecureConnect para destinatarios individuales.

Para habilitar SecureConnect en un metastore:

1. En el área de trabajo de Azure Databricks, haga clic en Catalog para abrir el Explorador de catálogos.

2. En la parte superior del panel Catálogo, haga clic en el y seleccione OpenSharing.

   Como alternativa, en la esquina superior derecha, haga clic en Compartir > openSharing.

3. Haga clic en Configuración en la esquina superior derecha.

4. Active la configuración de Enable SecureConnect for new recipients (Habilitar SecureConnect para nuevos destinatarios).

5. Haz clic en Guardar.

Paso 3: Habilitar SecureConnect para destinatarios individuales

Los propietarios de destinatarios y los usuarios con el USE_RECIPIENT privilegio, activan o desactivan SecureConnect para cada destinatario. SecureConnect está deshabilitado en un destinatario de forma predeterminada, a menos que se establezca el metastore para habilitarlo para todos los nuevos destinatarios cuando se creó el destinatario.

Para configurar SecureConnect en un destinatario:

1. En el área de trabajo de Azure Databricks, haga clic en Catalog.

2. En la parte superior del panel Catálogo, haga clic en el y seleccione OpenSharing.

   Como alternativa, en la esquina superior derecha, haga clic en Compartir > openSharing.

3. En la pestaña Compartido por mí , haga clic en la pestaña Destinatarios .

4. Active SecureConnect para cada destinatario deseado.

(Opcional) Paso 4: Restringir el acceso de destinatario abierto con ACL de IP

En el caso de los destinatarios abiertos, puede restringir qué direcciones IP de cliente pueden acceder a SecureConnect mediante listas de acceso IP. Las ACL de IP solo se aplican a los destinatarios abiertos.

Con SecureConnect, las ACL de IP se aplican tanto al acceso al punto de conexión de OpenSharing como al acceso de almacenamiento. Sin SecureConnect, las ACL de IP restringen solo el acceso al punto de conexión de OpenSharing; Las direcciones URL de almacenamiento permanecen accesibles desde cualquier dirección IP de cliente.

Para obtener instrucciones de configuración, consulte Restringir el acceso de destinatarios de OpenSharing mediante listas de acceso de IP (uso compartido de Databricks a abierto).

Escenarios de uso compartido admitidos

SecureConnect permite compartir con destinatarios independientemente de la nube en la que se ejecuten, tanto para el intercambio Databricks a Databricks como para el acceso abierto.

El soporte para los proveedores en GCP está en Vista Previa Privada. Para usar SecureConnect en GCP como proveedor, contacta con tu equipo de cuentas de Azure Databricks.

mTLS a SecureConnect solo es compatible con destinatarios de Azure Databricks que utilizan computación serverless para acceder a los datos compartidos.

Soporte de funcionalidades

* El uso compartido de OIDC no funciona actualmente cuando el destinatario también está en Azure Databricks.

** La optimización de tokens en la nube no está disponible para SecureConnect.

*** Estos activos se materializan y se filtran por parte del proveedor. Consulte ¿Los destinatarios tienen acceso directo a los datos subyacentes en vistas compartidas, vistas materializadas y tablas de streaming?.

Limitaciones

• No se puede hacer una copia de seguridad de tus recursos en el almacenamiento Cloudflare R2.

Para conocer las limitaciones del lado destinatario, como la compatibilidad con mTLS y las restricciones de uso compartido de Databricks a Open, consulte Limitaciones.

Regiones no compatibles

SecureConnect no está disponible en Azure China, Azure Government ni en las siguientes regiones de Azure:

• australiacentral
• australiacentral2
• japanwest
• qatarcentral
• southindia
• switzerlandwest
• ukwest
• westindia

Facturación

A los proveedores se les factura la transferencia de datos (egress) cuando los destinatarios acceden a datos compartidos a través de SecureConnect. Para conocer las tarifas, consulta Transferencia de datos y precios de conectividad, o contacta con tu equipo de cuentas de Azure Databricks.

El uso por destinatario se atribuye a través del recipient_id campo de la tabla del sistema de facturación, por lo que los proveedores pueden desglosar el uso facturable de SecureConnect por destinatario. Consulte Tabla de referencia del sistema de uso facturable

La consulta siguiente devuelve la salida de datos SecureConnect (en GB) para cada destinatario en los últimos 7 días:

SELECT
  usage_records.usage_metadata.recipient_id,
  SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
  usage_records.billing_origin_product = 'NETWORKING'
  AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
  AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
  AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
  usage_records.usage_metadata.recipient_id
ORDER BY
  total_usage_gb DESC

Para convertir el uso en coste, realice una unión con la tabla del sistema de precios. Consulte Referencia de la tabla del sistema de precios.

Recursos adicionales

• Configuración de OpenSharing para su cuenta (para proveedores)
• Configuración del firewall de destinatarios openSharing para SecureConnect