Tag-Zuweisung automatisieren

Important

Dieses Feature befindet sich in der Betaversion. Arbeitsbereichsadministratoren können den Zugriff auf dieses Feature über die Vorschauseite steuern. Siehe Manage Azure Databricks Previews.

Auf dieser Seite wird erläutert, wie Sie Tagautomatisierungen erstellen und verwalten, die Unity Catalog-Tabellen und -Volumes in großem Maßstab geregelte Tags zuweisen. Eine Übersicht über geregelte Tags finden Sie unter "Governed tags".

Eine Automatisierung kodiert deine Geschäftsregeln nach von dir festgelegten Bedingungen und weist dann regulierte Tags auf den passenden Assets zu oder entfernt sie. Nach dem Erstellen einer Automatisierung sorgt Azure Databricks dafür, dass die Tags korrekt bleiben, wenn sich Ihre Daten und Metadaten ändern.

Sie können eine Automatisierung manuell im Catalog Explorer erstellen oder Genie verwenden, um eine Automatisierung zu erstellen, indem Sie Ihre Regel in natürlicher Sprache beschreiben:

Der Schritt „Definition“ des Assistenten zum Erstellen von Automatisierungen mit einer ausgefüllten Eingabeaufforderung, die eine Regel beschreibt, mit der Tabellen nach einem täglichen Zeitplan als eingeschränkt gekennzeichnet werden, wenn ihre Spalten vertrauliche Klassifizierungstags aufweisen.

Administratoren automatisieren die Tag-Zuweisung für verschiedene Governance-Workflows, darunter:

  • Zertifizierung vertrauenswürdiger Daten, die Ihren Bereitschaftskriterien entsprechen.
  • Ausmustern veralteter Daten, die nicht mehr gepflegt oder abgefragt werden.
  • Rollup der Spaltenvertraulichkeit auf eine Vertraulichkeitsebene auf Tabellenebene, wie im obigen Beispiel.
  • Assets markieren, denen erforderliche Tags fehlen, und dann ihre Eigentümer benachrichtigen.
  • Veraltete Tags bereinigen , die nicht mehr gelten.

Da Automatisierungen regulierte Tags verwenden, entspricht jedes von ihnen zugewiesene Tag denselben erlaubten Werten und Berechtigungen, die auch das manuelle Tagging regeln.

Um sensible Daten in Spalten automatisch zu erkennen und zu taggen, verwenden Sie stattdessen Data Classification . Um alle automatischen Tagging-Funktionen zu vergleichen, siehe Manuell vs. automatisiertes Tagging.

Voraussetzungen

Bevor Sie eine Automatisierung erstellen, stellen Sie sicher, dass Sie Folgendes haben:

  • USE CATALOG, USE SCHEMA und APPLY TAG für den Katalog im Bereich der Automatisierung. Diese werden auf Katalogebene überprüft, sodass die Eingrenzung einer Automatisierung auf bestimmte Schemata die benötigten Rechte nicht einschränkt.
  • MANAGE für den Katalog im Bereich der Automatisierung.
  • Die Berechtigung ASSIGN für jedes geregelte Tag, das die Automatisierung zuweist oder entfernt.
  • Die verwalteten Tags, die du zuweisen möchtest, müssen bereits mit definierten erlaubten Werten existieren. Informationen zum Erstellen verwalteter Tags finden Sie unter Verwaltete Tags erstellen und verwalten. Weitere Informationen zu Berechtigungen für verwaltete Tags finden Sie unter Berechtigungen für verwaltete Tags verwalten.

Die Registerkarte Automatisierungen zeigt nur die Automatisierungen für Tags an, für die du die ASSIGN-Berechtigung hast. Kontoadministratoren haben standardmäßig ASSIGN für alle Tags und können alle Automatisierungen sehen. Siehe "Verwalten von Berechtigungen für geregelte Tags".

Tag-Automatisierungen aktivieren

Automatisierungen für Tags sind in den meisten Arbeitsbereichen standardmäßig aktiviert. Wenn du den Reiter Automatisierungen auf der Seite Verwaltete Tags nicht siehst, kann ein Workspace-Admin die Vorschau aktivieren:

  1. Als Workspace-Administrator klicken Sie auf Ihren Benutzernamen in der oberen Leiste des Workspaces.
  2. Wählen Sie im Menü die Option Previews aus.
  3. Suchen Sie die Vorschau Tagautomatisierungen, und verwenden Sie die Umschaltfläche Schalten Sie das Steuerelement in die Position „Ein“ um., um sie zu aktivieren.

Weitere Informationen zur Verwaltung von Vorschauen finden Sie unter Vorschauen auf Arbeitsflächenebene verwalten.

Note

Vorschaufeatures werden nicht von Compliance-Zertifizierungen abgedeckt. In Arbeitsbereichen mit aktiviertem Compliance-Sicherheitsprofil wird die Vorschau für Tag-Automatisierungen auf der Seite Previews möglicherweise nicht angezeigt. Für die Liste der Vorschauen, die Sie in diesen Arbeitsbereichen aktivieren können, siehe Unterstützte Vorschaufunktionen.

Erstellen oder bearbeiten Sie eine Automatisierung

Databricks empfiehlt, die gewünschte Automatisierung für Genie in natürlicher Sprache zu beschreiben und die Regel von Genie erstellen zu lassen. Genie legt den Umfang, die Bedingungen und die Aktion fest, und du kannst alles überprüfen und anpassen, bevor du speicherst.

  1. Im Katalogexplorer öffnen Sie die Seite Verwaltete Tags und klicken Sie auf den Tab Automatisierungen .

    Der Reiter „Automatisierungen“ auf der Seite „Governed Tags“ listet Automatisierungen mit Angaben zur letzten Ausführung, zu den Ziel-Assets, zum Ersteller, zum Auslöser, zur Beschreibung und zum Status auf.

  2. Klicken Sie auf Automatisierung erstellen.

  3. Im Promptfeld beschreiben Sie die gewünschte Automatisierung oder beginnen Sie mit einem Vorschlag von Genie.

  4. Überprüfe, was Genie erzeugt hat, und passe jeden Teil davon an.

Sie können das Formular auch selbst ausfüllen:

  1. Im Bereich Scope wählen Sie einen Katalog aus, schränken ihn optional auf bestimmte Schemata ein und entscheiden, ob die Automatisierung auf Tabellen oder Volumes abzielt.
  2. Im Abschnitt Bedingung fügen Sie die Bedingungen hinzu, die ein Asset erfüllen muss, mit Match all oder Match any. Siehe Bedingungen-Referenz.
  3. Im Abschnitt Aktion wählen Sie Tag hinzufügen oder Tag entfernen, wählen den zugeordneten Tag-Schlüssel und -Wert aus und wählen Vorhandenen Wert überschreiben, um einen Wert zu ersetzen, den ein Asset bereits aufweist. Siehe Benutzer benachrichtigen.
  4. Fahren Sie zum Schritt Planung und Details fort und wählen Sie dann Manuell , um die Automatisierung auf Abruf auszuführen, oder Wiederkehrender Zeitplan, um sie automatisch auszuführen.
  5. Im Bereich Details geben Sie einen Namen und eine Beschreibung ein und klicken Sie dann auf Trockenlauf.

Beim Speichern einer neuen Automatisierung wird diese erstellt und ein Probelauf gestartet, bei dem die Ressourcen aufgezeichnet werden, mit denen die Automatisierung übereinstimmen würde, ohne dass Tags zugewiesen werden. Überprüfe die zugeordneten Assets, und wenn sie nicht deinen Erwartungen entsprechen, passe die Bedingungen an und klicke erneut auf Probelauf. Wenn Sie zufrieden sind, klicken Sie auf Automatisierung aktivieren.

Um eine bestehende Automatisierung zu bearbeiten, öffne sie im Reiter Automatisierungen und klicke auf Bearbeiten. Du kannst die Bedingungen, den Zeitplan, den Namen und die Beschreibung ändern, aber nicht den Umfang oder die Aktion. Um eines davon zu ändern, erstellen Sie eine neue Automatisierung.

Beispiel: Zertifiziere Tabellen, die deine Bereitschaftskriterien erfüllen

Um Tabellen zu zertifizieren, die Ihren Qualitätsanforderungen entsprechen, erstellen Sie eine Automatisierung, die allen Tabellen, die den folgenden Kriterien entsprechen, das Zertifizierungs-Tag zuweist:

  1. Für Bedingung wähle "Alle abgleichen " und füge Kriterien hinzu, sodass nur bereite Tabellen übereinstimmen:
    • Der Eigentümer ist einer der Hauptverantwortlichen für die Produktionsdaten.
    • Die Tabelle enthält eine Beschreibung.
    • Die Tabelle hatte in den letzten 30 Tagen mehr als 100 Read-Anfragen.
  2. Für die Aktion weisen Sie dem Tag system.certification_status den Wert certified zu.

Beispiel: Spaltenempfindlichkeit auf eine Sensitivitätsstufe auf Tabellenebene hochstufen

Um die Klassifikation auf Tabellenebene mit den von Data Classification gefundenen sensiblen Spalten synchron zu halten, erstellen Sie eine Automatisierung, die eine Tabelle markiert, wenn eine ihrer Spalten ein Sensitivitäts-Tag trägt:

  1. Wählen Sie für Bedingung die Option Beliebige Übereinstimmung aus, und fügen Sie Kriterien für Spaltentag hinzu, sodass eine Tabelle übereinstimmt, wenn eine ihrer Spalten class.us_driver_license, class.us_passport, class.us_ssn oder class.us_itin aufweist.
  2. Für Aktion weisen Sie Ihr Sensitivitätsstufen-Tag auf Tabellenebene mit dem Wert restricted zu, und wählen Sie Bestehenden Wert überschreiben, damit Tabellen mit einer niedrigeren Sensitivitätsstufe aktualisiert werden.

Erstellen Sie eine ähnliche Automatisierung für jede von Ihnen verwendete Ebene, die mit den Klassifizierungstags übereinstimmt, die dies rechtfertigen.

Bedingungsreferenz

Die folgende Tabelle listet die Bedingungen auf, die Sie im Abschnitt Bedingung hinzufügen können. Bedingungen, die nur für Tabellen gelten, wie das Kolumnen-Tag und die Nutzungsbedingungen für Abfragen, werden nicht angeboten, wenn der Umfang einer Automatisierung auf Volumina abzielt:

Zustand Wozu es passt Examples
Tag und Tag-Wert Vorhandene verwaltete Tags für das Asset. Wählen Sie aus den regulierten Tags in Ihrem Konto. cost_center entspricht finance. Um eine Familie von Tag-Schlüsseln abzugleichen, z. B. alle class.-Tags, verwenden Sie den Operator beginnt mit und geben Sie class. ein.
Spaltenkennzeichnung Geregelte Tags für die Spalten der Ressource. Gilt nur für Tabellen. Jede Spalte trägt class.email_address oder class.us_ssn
Anzahl der Leseabfragen und Anzahl der Schreibabfragen Die Anzahl der Abfragen für das Asset in den letzten 30 Tagen. Gilt nur für Tabellen. Die Anzahl der Leseabfragen ist gleich 0, um ungenutzte Tabellen zu finden, oder größer als 100, um stark genutzte Tabellen zu finden.
Zuletzt abgefragt Die Anzahl der Tage, seit das Asset zuletzt abgefragt wurde. Gilt nur für Tabellen. Zuletzt abgefragt vor über 90 Tagen
Erstellungsdatum und zuletzt aktualisiert Die Anzahl der Tage, seit das Asset erstellt oder zuletzt verändert wurde. Letzte Aktualisierung vor mehr als 90 Tagen oder innerhalb der letzten 30 Tage
Owner Der Besitzer der Ressource, abgeglichen mit Prinzipalen, die Sie mit ist einer von oder ist keiner von auswählen. Der Abgleich erfolgt auf Ebene des Eigentümers selbst, sodass die Auswahl einer Gruppe nur zu Treffern bei Assets führt, die dieser Gruppe gehören, nicht bei Assets, die ihren Mitgliedern gehören. Der Eigentümer ist einer Ihrer Datenplattform-Administratoren
Beschreibung Ob das Asset eine Beschreibung hat, mit vorhanden oder nicht vorhanden. Beschreibung existiert nicht, um undokumentierte Tabellen zu markieren
Name Gibt an, ob der Name der Ressource eine Zeichenfolge enthält, wobei enthält oder enthält nicht verwendet wird. Der Name enthält _staging

Benachrichtigen von Benutzern

Um Benutzer zu benachrichtigen, wenn eine Automatisierung Assets aktualisiert, aktivieren Sie im Abschnitt Aktion Benutzer per E-Mail benachrichtigen und wählen Sie dann aus, wen benachrichtigt werden soll:

  • Vermögenseigentümer: Benachrichtigen Sie den Eigentümer jedes abgestimmten Vermögenswerts.
  • Spezifische Nutzer: Benachrichtigen Sie eine Liste der Nutzer, die Sie bereitstellen, unabhängig davon, wem die abgestimmten Assets gehören. Diese Empfänger erhalten eine Zusammenfassung, die alle abgestimmten Vermögenswerte abdeckt.

Benachrichtigungen berichten nur über Ressourcen, die während einer Ausführung geändert wurden, sodass bei einem Probelauf keine gesendet werden.

Ausführungsverlauf überprüfen

Die Laufhistorie auf der Detailseite einer Automatisierung umfasst sowohl Trockenläufe als auch Live-Läufe. Für jeden Durchlauf kannst du seinen Zustand, wann er gestartet wurde, wie viele Assets übereinstimmten und seine Dauer sehen. Probeläufe sind markiert, sodass Sie sie von Ausführungen unterscheiden können, bei denen Tags zugewiesen wurden. Klicken Sie auf eine Ausführung, um die zugeordneten Assets anzuzeigen.

Eine Automatisierung aktivieren oder deaktivieren

Der Status einer Automatisierung ist entweder Ausstehende Überprüfung oder Aktiviert:

  • Ausstehende Überprüfung: Die Automatisierung weist keine Tags zu oder entfernt sie nicht. Sie können den Probelauf beliebig oft ausführen.
  • Aktiviert: Die Automatisierung läuft nach ihrem Zeitplan und weist Tags auf übereinstimmenden Assets zu und entfernt sie.

Öffne eine Automatisierung und klicke auf Automatisierung aktivieren , um sie zu aktivieren, oder auf Automatisierung deaktivieren , um sie auf 'Pending review' zurückzusetzen. Das Deaktivieren stoppt den Zeitplan der Automatisierung und verhindert manuelle Läufe, aber nicht einen bereits laufenden Lauf. Um sofort eine aktivierte Automatisierung auszuführen, klicken Sie auf Ausführen.

Einschränkungen

Tag-Automatisierungen haben während der Beta folgende Einschränkungen:

  • Eine Automatisierung zielt nur auf Tabellen oder nur Volumina ab. Um sowohl Tabellen als auch Volumina zu verwalten, erstelle für jede eine separate Automatisierung.
  • Eine Automatisierung ist auf einen einzigen Katalog beschränkt. Es kann nicht mehrere Kataloge oder einen gesamten Metastore umfassen.
  • Der Anwendungsbereich einer Automatisierung umfasst alle Tabellentypen: MANAGED, , , EXTERNAL, VIEWMATERIALIZED_VIEW, , und STREAMING_TABLEFOREIGN. Automatisierungen können nicht auf bestimmte Tabellentypen begrenzt werden.
  • Wiederkehrende Automatisierungsergebnisse erscheinen typischerweise innerhalb von 24 Stunden. Individuelle oder ereignisbasierte Zeitpläne sind nicht verfügbar.
  • Umfang und Aktion können nach der Erstellung einer Automatisierung nicht mehr geändert werden. Um eine der beiden zu ändern, erstelle eine neue Automatisierung.
  • Jeder Durchlauf verarbeitet maximal 500 Matching-Assets.
  • Eine Automatisierung kann maximal 5 regulierte Tags zuweisen oder entfernen. Jedes geregelte Tag kann pro Automatisierung nur einmal zugewiesen oder entfernt werden.

Problembehandlung

  • Die Automatisierung stimmt mit keinen Ressourcen überein. Überprüfen Sie, ob der Umfang den Katalog und die Schemata umfasst, die Ihre Vermögenswerte enthalten, und dass Ihre Bedingungen nicht zu einschränkend sind. Verwenden Sie einen Probelauf, um eine Vorschau der Übereinstimmungen anzuzeigen.
  • Eine Ausführung ist teilweise fehlgeschlagen. Tags wurden auf einige Ressourcen angewendet, auf andere jedoch nicht, in der Regel, weil Ihnen ASSIGN für ein geregeltes Tag oder APPLY TAG für eine Ressource fehlt. Öffne den Run, um das Ergebnis für jedes Asset zu sehen, korrigiere die Berechtigung und führe dann die Automatisierung erneut aus.
  • Eine Ausführung dauert lange. Der Abschluss größerer Bereiche dauert länger. Wenn ein Durchlauf nach einigen Stunden noch nicht abgeschlossen ist, überprüfen Sie den Ausführungsverlauf darauf, ob ein Fehler aufgetreten ist.

Weitere Ressourcen