Gespiegelter Google-Lakehouse-Runtimekatalog

Ein gespiegelter Google Lakehouse-Runtime-Katalog in Fabric integriert die in Ihrem Google Cloud Lakehouse verwalteten Apache Iceberg-Tabellen mit Ihren übrigen Daten in Fabric. Sie können Ihre Google Lakehouse-Laufzeitkatalogstruktur kontinuierlich direkt in Fabric' OneLake spiegeln.

Ein Tutorial zur Konfiguration Ihrer Google Cloud-Umgebung für Katalogspiegelung in Fabric finden Sie unter Tutorial: Configure mirrored Google Lakehouse Runtime Catalog.

Wenn man einen Google Lakehouse-Runtime-Katalog spiegelt, gibt es keine Datenbewegung oder Duplikation. Nur die Katalogstruktur ist auf Fabric gespiegelt. Die zugrundeliegenden Iceberg-Tabellendaten bleiben in Google Cloud Storage und werden über Verknüpfungen abgerufen. Änderungen an den zugrunde liegenden Daten erscheinen möglicherweise nicht sofort in Fabric. Die Verteilung kann von ein paar Sekunden bis zu mehreren Minuten dauern, wie in der SQL Analytics-Endpunktleistungsdokumentation beschrieben.

Welche Analyseerfahrungen integriert sind

Gespiegelte Kataloge sind Einträge in Fabric, die sich von anderen Objekten wie Seehäusern und SQL-Analyse-Endpunkten unterscheiden.

Wenn Sie einen Google Lakehouse Runtime-Katalog spiegeln, erstellt Fabric folgende Elemente:

• Ein gespiegeltes Google Lakehouse Runtime-Katalogobjekt
• Ein SQL-Analyseendpunkt für dieses Element

Sie können auf verschiedene Arten auf Ihre gespiegelten Google Lakehouse-Laufzeitkatalogdaten zugreifen:

• Verwenden Sie T-SQL-Befehle, um Datenobjekte vom schreibgeschützten SQL-Analyseendpunkt zu definieren und abzufragen. Jedes gespiegelte Google Lakehouse Runtime-Katalogelement verfügt über einen automatisch generierten SQL-Analytics-Endpunkt, der ein reichhaltiges analytisches Erlebnis bietet, das durch den Spiegelungsprozess geschaffen wird.
• Verwenden Sie Power BI im Direct Lake-Modus, um Berichte gegen das gespiegelte Katalogelement zu erstellen.
• Verwenden Sie andere Fabric-Workloads, um Tabellen im gespiegelten Katalogelement abzufragen.

Gespiegelte Tabellen können innerhalb von Sekunden nach der Auswahl abgefragt werden, wobei die Verteilung von End-to-End-Metadaten in der Regel in Sekunden bis zu einigen Minuten abgeschlossen ist.

Verbinden und Authentifizieren

Das Spiegeln verbindet sich mit dem Apache Iceberg REST-Katalog-Endpunkt im Google Lakehouse-Runtime-Katalog. Die zugrunde liegenden Tabellendaten bleiben in Google Cloud Storage und werden über Shortcuts gelesen, daher benötigt die Verbindung die Berechtigung, sowohl die Katalogmetadaten als auch die Tabellendaten zu lesen.

Die Google Lakehouse Runtime-Katalogspiegelung verwendet Google Cloud Workload Identity Federation zur Authentifizierung von Microsoft Entra-Identitäten. Fabric stellt Google Cloud ein Microsoft Entra OpenID Connect (OIDC)-Token vor, anstatt einen Google Cloud Service-Kontoschlüssel zu speichern.

Bevor Sie die Fabric-Verbindung herstellen, konfigurieren Sie einen Google Cloud Workload Identity Pool mit einem OIDC-Anbieter, der Microsoft Entra-Token vertraut. Verwenden Sie genau diese Anbieterwerte:

Füge jede Microsoft Entra-Identität, auf die Zugriff nötig ist, als föderierter IAM-Principal hinzu oder autorisiere ein Principal-Set für den Pool. Individuelle Identitätsbindungen werden für den Zugang mit geringsten Privilegien empfohlen. Verleihen Sie dem Auftraggeber die Rolle BigLake Viewer (roles/biglake.viewer) und die Rolle Service Usage Consumer (roles/serviceusage.serviceUsageConsumer) im engsten geeigneten Ressourcenumfang.

Notieren Sie die numerische Google Cloud Projektnummer, die Workload Identity Pool ID und die OIDC Provider ID. Du brauchst diese Werte, um die Fabric-Verbindung herzustellen.

Der Quellkatalog muss außerdem in der Lage sein, Zugriff auf seine Cloud-Speicherdaten zu autorisieren. Für einen Katalog, der Credential Vending verwendet, gewähren Sie dem automatisch bereitgestellten Servicekonto des Katalogs die Rolle Storage Object User (roles/storage.objectUser) auf allen zugehörigen Cloud-Speicher-Buckets. Für einen Katalog, der Endbenutzerzugangsdaten verwendet, gewähren Sie dem föderierten Hauptverantwortlichen den erforderlichen Lesezugriff auf die zugehörigen Buckets.

Für Schritt-für-Schritt-Anweisungen zur Konfiguration der Workload Identity Federation und der Verbindung siehe Tutorial: Configure mirrored Google Lakehouse Runtime Catalog.

Metadatensynchronisierung

Wenn Sie in Fabric einen gespiegelten Google Lakehouse Runtime-Katalog erstellen, ist standardmäßig die Option "Future Tables automatisch synchronisieren" aktiviert. Wenn Sie die automatische Synchronisierung aktivieren, spiegelt Ihr Google Lakehouse Runtime-Katalog automatisch die folgenden Metadatenänderungen in Fabric wider:

• Hinzufügen von Namespaces zum Katalog
• Löschen von Namespaces aus dem Katalog
• Hinzufügen von Tabellen zu einem Namespace
• Löschen von Tabellen aus einem Namespace
• Wenn Zukünftige Tabellen automatisch synchronisieren aktiviert ist, werden neu erstellte Iceberg-Tabellen in ausgewählten Namespaces automatisch in Fabric eingeschlossen, ohne dass eine manuelle Aktualisierung erforderlich ist.
• Schema- und Datenänderungen an vorhandenen Tabellen folgen normalen Verteilungsintervallen.

Namensraum und Tabellenauswahl funktionieren wie folgt:

• Du kannst auswählen, welche Namensräume als Schemata aufgenommen werden sollen, und du kannst bestimmte Tabellen ausschließen.
• Das Abwählen eines Namespaces bewirkt, dass alle Tabellen innerhalb dieses Namespaces abgewählt werden.
• Wenn Sie den Namensraum erneut auswählen, werden alle Tabellen innerhalb des Namensraums erneut ausgewählt.

Verwandte Inhalte

• Tutorial: Konfigurieren des gespiegelten Google Lakehouse Laufzeitkatalogs
• Einschränkungen bei der Microsoft Fabric-Katalogspiegelung für den Google Lakehouse-Laufzeitkatalog