Importare un provider e leggere i dati condivisi in Azure Databricks

Come destinatario Azure Databricks, è possibile importare un file di credenziali da un provider aperto e leggere gli asset di dati condivisi. È possibile eseguire query sui dati condivisi in Esplora cataloghi o usare un notebook Python.

Requisiti

Un membro del team deve scaricare il file delle credenziali condiviso dal provider di dati e usare un canale sicuro per condividere il file o il percorso del file con l'utente. Vedere Ottenere l'accesso nel modello Open-to-Databricks.

Importare un provider ed eseguire query sui dati condivisi

Questa sezione descrive come importare un provider e come eseguire query sui dati condivisi nel Catalog Explorer o in un notebook Python.

• Se l'area di lavoro di Azure Databricks è abilitata per Unity Catalog, usare l'interfaccia utente del provider di importazione in Esplora cataloghi. È possibile eseguire le operazioni seguenti senza dover archiviare o specificare un file di credenziali:

  • Creare cataloghi da condivisioni con il clic di un pulsante.
  • Usare i controlli di accesso al catalogo Unity per concedere l'accesso alle tabelle condivise.
  • Eseguire query sui dati condivisi usando la sintassi standard di Unity Catalog.
  • Applicare una credenziale ruotata all'oggetto provider esistente senza ricreare il catalogo. Vedere Ruotare le credenziali per i destinatari aperti.

• Se l'area di lavoro Azure Databricks non è abilitata per Unity Catalog, seguire invece le istruzioni del notebook Python.

Esploratore di cataloghi

Autorizzazioni necessarie: un amministratore del metastore o un utente con il privilegio per il CREATE PROVIDER metastore di Unity Catalog. Per creare cataloghi dalla condivisione, è necessario il CREATE CATALOG privilegio .

1. Nell'area di lavoro Azure Databricks, fare clic su Catalogo per aprire Esplora Catalogo.

2. Nella parte superiore del riquadro Catalogo fare clic e selezionare OpenSharing. In alternativa, nell'angolo superiore destro fare clic su Condividi > OpenSharing.

3. Nella scheda Condivisi con me, fai clic su Installa condivisione.

4. Inserisci il nome del fornitore. Il nome non può includere spazi.

5. Caricare il file delle credenziali condiviso dal provider. Molti provider hanno le proprie reti OpenSharing da cui è possibile ricevere condivisioni. Per altre informazioni, vedere configurazioni specifiche del provider.

6. (Facoltativo) Immettere un commento.

   

7. Fare clic su Importa.

8. Nella scheda Condivisioni fare clic su Crea catalogo nella riga di condivisione per creare cataloghi da dati condivisi.

   Per informazioni sull'uso di SQL o dell'interfaccia della riga di comando di Databricks per creare un catalogo da una condivisione, vedere Creare un catalogo da una condivisione.

9. Concedere l'accesso ai cataloghi. Vedere Come rendere disponibili i dati condivisi per il team eGestire le autorizzazioni per gli schemi, le tabelle e i volumi in un catalogo OpenSharing.

10. Leggere gli oggetti dati condivisi esattamente come qualsiasi oggetto dati registrato in Unity Catalog.

    Per informazioni dettagliate ed esempi, vedere Accedere ai dati in una tabella condivisa o in un volume.

Pitone

Leggere i dati condivisi usando un notebook nell'area di lavoro Azure Databricks se l'area di lavoro non è abilitata per Unity Catalog. Archiviare il file delle credenziali in Azure Databricks, quindi usarlo per eseguire l'autenticazione al provider di dati e leggere i dati condivisi.

Archiviare prima di tutto il file delle credenziali come file dell'area di lavoro Azure Databricks in modo che gli utenti del team possano accedere ai dati condivisi.

1. Per importare il file delle credenziali nell'area di lavoro di Azure Databricks, vedere Importare un file.
2. È possibile concedere ad altri utenti l'autorizzazione per accedere al file facendo clic Accanto al file, quindi Condividi (autorizzazioni) . Immettere le identità di Azure Databricks che devono avere accesso al file. Per altre informazioni sulle autorizzazioni per i file, vedere ACL di file.

Ora che il file delle credenziali è archiviato, creare un notebook per elencare e leggere le tabelle condivise.

1. Nell'area di lavoro di Azure Databricks fare clic su Nuovo > notebook. Per ulteriori informazioni sui notebook di Azure Databricks, consultare i notebook di Databricks.

2. Installare il delta-sharing connettore e usare Python, pandaso Apache Spark per elencare e leggere le tabelle condivise. Utilizza il percorso nell'area di lavoro del file delle credenziali (ad esempio, /Workspace/Users/user.name@email.com/config.share) come percorso del profilo. Per esempi di codice, vedere Pandas: Leggere i dati condivisi e Apache Spark: Leggere i dati condivisi.

3. Oltre ai comandi Python e Apache Spark, è possibile eseguire query sui dati condivisi usando SQL. Creare una tabella locale nell'area di lavoro dalla tabella condivisa, quindi eseguire una query sulla tabella locale. I dati condivisi non vengono archiviati o memorizzati nella cache nella tabella locale. Ogni volta che si esegue una query sulla tabella locale, viene visualizzato lo stato corrente dei dati condivisi.

   Sostituire le variabili come indicato di seguito:

   • <local-table-name>: nome della tabella locale.
   • <profile-path>: percorso del file delle credenziali.
   • <share-name>: valore di share= per la tabella.
   • <schema-name>: valore di schema= per la tabella.
   • <table-name>: valore di name= per la tabella.

   %sql
   DROP TABLE IF EXISTS <local-table-name>;
   
   CREATE TABLE <local-table-name> USING deltaSharing LOCATION "<profile-path>#<share-name>.<schema-name>.<table-name>";
   
   SELECT * FROM <local-table-name> LIMIT 10;
   

4. Quando si esegue il comando, i dati condivisi vengono sottoposti direttamente a query. Come test, viene eseguita una query sulla tabella e vengono restituiti i primi 10 risultati.

5. Se l'output è vuoto o non contiene i dati previsti, contattare il provider di dati.

Si applicano le limitazioni del connettore openSharing Python. Vedere Limitazioni del connettore Python OpenSharing.

Limitations

La condivisione Open-to-Databricks si basa sul OpenSharing protocol. Il supporto seguente si applica quando si importa un provider aperto in Azure Databricks:

• Solo le tabelle Delta che supportano il protocollo Delta Sharing. Le tabelle di solo tipo Iceberg non sono supportate.
• Sia l'URL presigned sia l'accesso tramite cloud token (basato su directory) sono supportati. Azure Databricks preferisce l'accesso al token cloud quando il provider lo rende disponibile.
• Sono supportati solo gli schemi di archiviazione token cloud seguenti: s3, s3a, s3nabfsswasbsgse .r2

Per leggere dati non Delta, ad esempio Iceberg, CSV, Parquet o JSON da un'origine esterna, usare invece Lakehouse Federation. Vedere Connettersi a database e cataloghi esterni.