Classificatori personalizzati

Importante

Questa funzionalità è in versione beta. Gli amministratori dell'area di lavoro possono controllare l'accesso a questa funzionalità dalla pagina Anteprime . Vedere Gestire le anteprime di Azure Databricks.

Questa pagina descrive come creare e gestire classificatori personalizzati per la classificazione dei dati di Databricks in Unity Catalog. I classificatori personalizzati estendono il sistema di classificazione predefinito in modo da poter rilevare dati sensibili specifici dell'organizzazione, ad esempio ID dipendenti interni, codici di prodotto proprietari, identificatori fornitore o numeri di account partner.

Per creare un classificatore personalizzato, selezionare prima di tutto un tag regolamentato. Descrivere quindi i dati da rilevare, fornire colonne di esempio contenenti valori rappresentativi o entrambi. Azure Databricks genera un'anteprima di ciò che il classificatore rileva in modo da poterlo esaminare prima del salvataggio. La classificazione dei dati rileva quindi questo classificatore durante le analisi regolari.

Annotazioni

I classificatori personalizzati rilevano dati sensibili a livello di colonna durante le scansioni di classificazione. Per assegnare tag governati a intere tabelle e volumi, come un livello di sensibilità a livello di tabella, automatizza invece l'assegnazione dei tag (beta).

Usando classificatori personalizzati, è possibile:

  • Etichettare i dati specifici della tua organizzazione: rileva e configura l'applicazione automatica di tag per i tipi di dati univoci della tua organizzazione, ad esempio ID dei dipendenti, codici partner o numeri di account interni.
  • Estendere i controlli di governance: applicare maschere ABAC a livello di colonna ai dati sensibili.

Annotazioni

La configurazione del classificatore personalizzato e i metadati di rilevamento che Azure Databricks genera a partire dalle colonne di esempio sono crittografati quando sono archiviati. È possibile usare una chiave gestita dal cliente (CMK) nel catalogo di sistema per gestire la chiave di crittografia. La configurazione di una CMK nel catalogo di sistema crittografa tutti i dati nel catalogo di sistema, non solo i dati del classificatore personalizzato.

Configurare una chiave gestita dal cliente nel catalogo di sistema in Esplora cataloghi.

Requirements

  • La classificazione dei dati deve essere abilitata in almeno un catalogo nel metastore. Vedere Usare la classificazione dei dati.
  • L'area di lavoro deve disporre di risorse di calcolo serverless (abilitate per impostazione predefinita nelle aree di lavoro con il catalogo Unity).
  • Per creare, modificare o eliminare un classificatore personalizzato, è necessario essere un amministratore del metastore.
  • Per creare o modificare un classificatore personalizzato, è necessario disporre ASSIGN dei privilegi per il tag regolamentato usato dal classificatore. Vedere Gestire le autorizzazioni per i tag regolamentati.
  • Per selezionare una colonna di esempio per il classificatore, devi avere SELECT nella tabella che la contiene. Azure Databricks campiona la colonna per generare l'anteprima.

Creare un classificatore personalizzato

  1. Nella pagina Risultati classificazione dati fare clic su Gestisci classificatori personalizzati.

    Pulsante per gestire i classificatori personalizzati nella pagina dei risultati della classificazione dei dati.

  2. Nel pannello laterale Classificatori personalizzati fare clic su Aggiungi classificatore.

  3. Selezionare un tag. Scegli un tag governato esistente, oppure crea un nuovo tag per definirlo in linea. Se il tag ha valori consentiti, scegliere il valore specifico da rilevare.

    La procedura guidata «Aggiungi classificatore personalizzato» con il passaggio «Seleziona un tag» attivo, che mostra il selettore di tag governance sopra i passaggi compressi «Definisci il classificatore» e «Genera il classificatore».

  4. Definire il classificatore. Fornisci una descrizione, colonne di esempio o entrambe affinché Azure Databricks capisca cosa analizzare:

    • In Descrivere come classificare, descrivi i dati da rilevare in linguaggio semplice, ad esempio Columns that store a person's contact details.
    • In Seleziona colonne di dati di esempio esplorare l'albero del catalogo e selezionare fino a 10 colonne contenenti valori rappresentativi per la classe .

    Per informazioni su come scrivere una descrizione efficace e scegliere colonne di esempio valide, vedere Definire il classificatore.

    Il passaggio Definisci classificatore della procedura guidata Aggiungi classificatore personalizzato, che mostra il campo Descrivere come classificare il testo sopra il browser Seleziona catalogo colonne di dati di esempio con due colonne selezionate.

  5. Generare il classificatore. Azure Databricks genera un'anteprima del rilevamento del classificatore. Per regolare il risultato, modificare la descrizione o le colonne di esempio e l'anteprima viene rigenerata. Vedere Anteprima del classificatore.

    Passaggio Genera classificatore della procedura guidata Aggiungi classificatore personalizzato, che mostra l'anteprima del classificatore generato con un riepilogo in linguaggio normale e schede di colonna di esempio che elencano i nomi delle colonne e i valori di esempio.

  6. Clicca su Crea. Questo pulsante rimane disabilitato fino a quando non viene generata un'anteprima.

I rilevamenti del classificatore personalizzato vengono in genere visualizzati nella pagina dei risultati entro poche ore.

Definire il classificatore

Si definisce un classificatore personalizzato con una descrizione, colonne di esempio o entrambe.

La descrizione spiega cosa rappresentano i dati e influisce direttamente sul modo in cui Azure Databricks genera il classificatore. È possibile usare la descrizione per insegnare ad Azure Databricks a includere o escludere corrispondenze (ad esempio, "numeri di telefono appartenenti a singoli clienti, non numeri pubblici di assistenza o linee di vendita").

Le colonne di campionamento aiutano Azure Databricks ad apprendere la struttura dei dati da campionare. È necessario il SELECT privilegio in una tabella per usare le relative colonne come esempi.

Un classificatore personalizzato si applica a tutti i cataloghi nel metastore in cui è abilitata la classificazione dei dati. La definizione dell'ambito per catalogo o per schema non è supportata.

Anteprima del classificatore

Prima di salvare un classificatore personalizzato, Azure Databricks genera un'anteprima in modo da poterne verificare le regole di rilevamento. L'anteprima descrive cosa rileva il classificatore in linguaggio normale e mostra i nomi e i valori delle colonne corrispondenti di esempio.

Le colonne e i valori nell'anteprima sono esempi generati dall'intelligenza artificiale e non dati di tabella reali. Se l'anteprima non corrisponde a ciò che si vuole rilevare, modificare la descrizione o le colonne di esempio per generare una nuova anteprima.

Gestire classificatori personalizzati

Il pannello laterale Classificatori personalizzati elenca tutti i classificatori personalizzati configurati per il metastore. Da questo pannello è possibile cercare in base al nome del tag, modificare un classificatore esistente o eliminare un classificatore.

Elenco di classificatori personalizzati nel pannello laterale Classificatori personalizzati.

Modificare un classificatore personalizzato

Per aggiornare un classificatore personalizzato esistente:

  1. Nel pannello laterale Classificatori personalizzati selezionare il classificatore personalizzato da modificare. La visualizzazione di modifica mostra la descrizione salvata del classificatore, le colonne di esempio e l'anteprima.
  2. Modificare la descrizione o aggiungere o rimuovere colonne di esempio. Azure Databricks rigenera automaticamente l'anteprima.
  3. Se l'anteprima è corretta, fare clic su Aggiorna.

I rilevamenti esistenti della configurazione precedente rimangono attivi.

Non è possibile modificare il tag gestito e il relativo valore dopo la creazione di un classificatore personalizzato. Per passare a un tag diverso, eliminare il classificatore personalizzato e crearne uno nuovo.

Eliminare un classificatore personalizzato

  1. Nel pannello laterale Classificatori personalizzati selezionare il classificatore personalizzato da eliminare.
  2. Fai clic su Elimina.
  3. Conferma l'eliminazione.

Quando si elimina un classificatore personalizzato:

  • Non vengono generati nuovi rilevamenti per tale classificatore.
  • I rilevamenti esistenti vengono rimossi dalla pagina Risultati classificazione dati.
  • I tag già applicati automaticamente alle colonne non vengono rimossi automaticamente.

Visualizzare rilevamenti di classificatori personalizzati

Per visualizzare i rilevamenti di classificatori personalizzati, seguire la stessa procedura di per le classificazioni predefinite. Vedere Visualizzare i risultati della classificazione.

Limitations

  • È possibile creare un massimo di 50 classificatori personalizzati per metastore.
  • Ogni classificatore personalizzato deve avere una descrizione, colonne di esempio o entrambe. È possibile fare riferimento a un massimo di 10 colonne di esempio.
  • La denominazione dei tag regolamentata è soggetta alle regole dei criteri tag.
  • I classificatori personalizzati si applicano a tutti i cataloghi abilitati per la classificazione dei dati nel metastore. La definizione dell'ambito per catalogo o per schema non è supportata.
  • Il tag regolato utilizzato da un classificatore personalizzato non può essere modificato dopo la creazione. Per usare un tag diverso, eliminare e ricreare il classificatore personalizzato.
  • I classificatori personalizzati nuovi e aggiornati si applicano solo alle analisi di classificazione dei dati successive. I risultati dell'analisi esistenti non vengono riclassificati automaticamente, quindi i rilevamenti per i dati analizzati in precedenza vengono visualizzati al termine dell'analisi successiva.
  • Tutte le limitazioni della classificazione dei dati si applicano anche ai classificatori personalizzati, inclusi i tipi di tabella supportati. Vedere Limitazioni.

Risoluzione dei problemi

Gli argomenti seguenti consentono di risolvere i problemi comuni relativi ai classificatori personalizzati.

Un classificatore personalizzato è sospeso

Se un classificatore personalizzato non può più produrre rilevamenti, Azure Databricks lo sospende e visualizza un avviso nella pagina Risultati classificazione dati. L'avviso indica il motivo. Un classificatore personalizzato sospeso non produce nuovi rilevamenti.

Avviso che mostra che uno o più classificatori personalizzati sono sospesi.

Azure Databricks sospende un classificatore personalizzato per i motivi seguenti:

  • Il tag regolamentato non è più valido. Il tag soggetto a governance o il relativo valore è stato eliminato oppure al tag manca un valore obbligatorio. Ripristinare il tag o il valore oppure eliminare il classificatore personalizzato e crearne uno nuovo con un tag valido. La modifica della descrizione o delle colonne di esempio non risolve questa sospensione.
  • Azure Databricks non è possibile generare una regola di rilevamento dalle colonne di descrizione e di esempio fornite. Modificare il classificatore personalizzato per perfezionare la descrizione o sostituire le colonne di esempio inaccessibili o non rappresentative, quindi salvare per rigenerare il classificatore.

Autorizzazione negata durante la creazione o l'elenco di classificatori personalizzati

È necessario essere un amministratore del metastore. La creazione o la modifica di un classificatore personalizzato richiedono ASSIGN inoltre privilegi per il tag regolamentato. Vedere Requisiti.

Impossibile selezionare una colonna di esempio

È necessario avere SELECT nella tabella che contiene la colonna. Se nella tabella non è presente SELECT , chiedere al proprietario della tabella di concederla o scegliere una colonna diversa.

Risorse aggiuntive

  • Last updated on