Lakehouse SQL Analytics-Endpunkt-Anwendungsfälle

Der SQL-Analytics-Endpunkt ist eine leseoptimierte T-SQL-Oberfläche über Delta-Daten in Fabric. Dieser Artikel erklärt die Fabric-Data-Warehousing-Workload mit dem SQL-Analytics-Endpunkt des Lakehouse und Szenarien für die Nutzung des Lakehouse im Data Warehousing.

Was ist ein Lakehouse SQL-Analytics-Endpunkt?

Der SQL-Analytics-Endpunkt ermöglicht es Ihnen, Daten im Lakehouse mithilfe der T-SQL-Sprache und des TDS-Protokolls abzufragen.

  • Der SQL-Analytics-Endpunkt stellt Delta-Tabellen aus dem Lakehouse als SQL-Tabellen bereit, die man mit T-SQL abfragen kann.
  • Jede Delta-Tabelle aus einem Seehaus wird als eine einzige Tabelle dargestellt. Daten sollten im Deltaformat vorliegen.
  • Jedes Lakehouse hat einen SQL-Analytics-Endpunkt, und jeder Arbeitsbereich kann mehr als ein Lakehouse haben. Andere Fabric-Elemente – darunter Warehouses, gespiegelte Datenbanken, SQL-Datenbanken und Azure Cosmos DB – stellen ebenfalls automatisch einen SQL-Analytics-Endpunkt bereit, sodass ein Arbeitsbereich mehr SQL-Analytics-Endpunkte als Lakehouse-Items haben kann.

Du musst keinen SQL-Analytics-Endpunkt in Fabric erstellen. Ein SQL-Analyseendpunkt wird automatisch für jedes Lakehouse, jede Datenbank oder gespiegelte Datenbank erstellt. Ein SQL-Analyseendpunkt fungiert als einfache Data Warehouse-Funktion für ihre übergeordneten Elemente und ergänzt die Lakehouse-Architektur des Lagers. Diese Architektur ermöglicht es Spark oder Fabric-Mirroring, die Daten in einer Ordnerstruktur im Lakehouse zu verwalten, die vom SQL-Analyseendpunkt eingesehen werden kann.

Note

Hinter den Kulissen verwendet der SQL-Analyseendpunkt dasselbe Modul wie das Warehouse für sql-Abfragen mit hoher Leistung und geringer Latenz.

Automatische Metadatenermittlung

Ein nahtloser Prozess liest die Delta-Protokolle aus dem /Tables Ordner und stellt sicher, dass SQL-Metadaten für Tabellen wie Statistiken immer auf dem neuesten Stand sind. Eine Benutzeraktion ist nicht erforderlich, und es ist auch nicht erforderlich, Daten zu importieren, zu kopieren oder eine Infrastruktur einzurichten. Weitere Informationen finden Sie unter Automatisch generiertes Schema im SQL-Analyseendpunkt.

Szenarien, die das Lakehouse für Data Warehousing ermöglicht

In Fabric bieten wir ein einziges Warehouse an.

Das Lakehouse, mit seinem SQL-Analytics-Endpunkt, der vom Warehouse betrieben wird, kann den traditionellen Entscheidungsbaum aus Batch-, Streaming- oder Lambda-Architekturmustern vereinfachen. Zusammen mit einem Warehouse ermöglicht das Lakehouse viele additive Analyseszenarien. Dieser Abschnitt untersucht, wie man ein Seehaus zusammen mit einem Lager für eine Best-of-Breed-Analysestrategie nutzen kann.

Analyse mit der Goldschicht Ihres Seehauses

Eine bekannte Strategie für die Organisation von Seedaten ist die Medallion-Architektur. Diese Strategie organisiert Dateien in rohe (Bronze), konsolidierte (Silber) und verfeinerte (Gold)-Schichten. Sie können einen SQL-Analyseendpunkt verwenden, um Daten in der Goldschicht der Medallion-Architektur zu analysieren, wenn die Dateien im Delta Lake-Format gespeichert werden, auch wenn sie außerhalb der Microsoft Fabric OneLake gespeichert sind.

Verwenden Sie Shortcuts in OneLake, um auf Gold-Ordner in externen Azure Data Lake-Speicherkonten zuzuweisen, die von Azure Synapse Spark oder Azure Databricks Engines verwaltet werden.

Sie können Lagerhäuser auch als Themenbereich oder domänenorientierte Lösungen für bestimmte Themen hinzufügen, die maßgeschneiderte Analyseanforderungen haben können.

Wenn Sie sich dafür entscheiden, Ihre Daten in Fabric zu speichern, ist es always offen und zugänglich über APIs, das Delta-Format und natürlich T-SQL.

Frag als Service über deine Delta-Tabellen bei lakehouse und andere Einträge von OneLake ab

Analysten, Data Scientists und Dateningenieure müssen möglicherweise Daten in einem Datensee abfragen. In Fabric ist dieses End-to-End-Erlebnis vollständig als SaaS umgesetzt.

OneLake ist ein einziger, einheitlicher, logischer Data Lake für die gesamte Organisation. OneLake ist OneDrive für Daten. OneLake kann mehrere Arbeitsbereiche enthalten, z. B. entlang Ihrer Organisationsbereiche. Jedes Element in Fabric macht Daten über OneLake zugänglich.

Daten in einem Seehaus in Fabric werden physisch in OneLake mit folgender Ordnerstruktur gespeichert:

  • Der /Files Ordner enthält rohe und nichtsolidierte (Bronze)-Dateien, die Datentechniker vor der Analyse verarbeiten sollten. Die Dateien können in verschiedenen Formaten wie CSV, Parkett, verschiedenen Arten von Bildern und mehr vorliegen.
  • Der /Tables Ordner enthält verfeinerte und konsolidierte (Gold)-Daten, die für die Geschäftsanalyse bereit sind. Die konsolidierten Daten sind im Delta Lake-Format.

Ein SQL-Analyseendpunkt kann Daten innerhalb von OneLake im Ordner /tables lesen. Die Analyse ist so einfach wie das Abfragen des SQL-Analyse-Endpunkts des Seehauses. Zusammen mit dem Warehouse erhalten Sie auch Datenbankabfragen und die Möglichkeit, nahtlos von Schreib-nur-Abfragen hin zum Aufbau zusätzlicher Geschäftslogik auf Ihren OneLake-Daten mit Fabric Data Warehouse umzuschalten.

Datentechnik mit Spark und Bereitstellen mit SQL

Datengesteuerte Unternehmen müssen ihre Back-End- und Analysesysteme nahezu in Echtzeit mit kundenorientierten Anwendungen synchronisieren. Die Auswirkung von Transaktionen muss in End-to-End-Prozessen, verwandten Anwendungen und OLTP-Systemen (Online Transaction Processing, Onlinetransaktionsverarbeitung) exakt widergespiegelt werden.

In Fabric können Sie Spark Streaming oder Datentechnik zum Zusammenstellen Ihrer Daten verwenden. Du kannst den Lakehouse SQL-Analytics-Endpunkt nutzen, um die Datenqualität und bestehende T-SQL-Prozesse zu validieren. Dies kann in einer Medaillonarchitektur oder in mehreren Schichten Ihres Seehauses erfolgen, wobei Bronze, Silber, Gold oder Staging-, kuratierte und verfeinerte Daten bereitgestellt werden. Sie können die über Spark erstellten Ordner und Tabellen anpassen, damit sie Ihre Datentechnik- und Geschäftsanforderungen erfüllen. Wenn es bereit ist, kann ein Warehouse alle Ihre Downstream-Business-Intelligence-Anwendungen und andere Analyseanwendungen bedienen, ohne Daten zu kopieren, Views zu verwenden oder Daten mit CREATE TABLE AS SELECT (CTAS), gespeicherten Prozeduren und anderen DML/DDL-Befehlen zu verfeinern.

Integration mit der Goldschicht deines offenen Seehauses

Ein SQL-Analytics-Endpunkt beschränkt sich nicht nur auf Datenanalysen im Seehaus in Fabric. Durch die Verwendung eines SQL-Analytics-Endpunkts können Sie Seedaten in jedem Lakehouse mit Azure Synapse Spark, Azure Databricks oder einer anderen lakezentrierten Data-Engineering-Engine analysieren. Sie können die Daten in Azure Data Lake Storage oder Amazon S3 speichern.

Sie können diese enge, bidirektionale Integration mit dem Lakehouse in Fabric jederzeit über jede Engine nutzen, indem Sie offene APIs, das Delta-Format und natürlich T-SQL verwenden.

Datenvirtualisierung externer Data Lakes mit Verknüpfungen

Verwenden Sie OneLake-Shortcuts, um auf Gold-Ordner in externen Azure Data Lake-Speicherkonten zuzuweisen, die von Azure Synapse Spark oder Azure Databricks Engines verwaltet werden, sowie in jeder in Amazon S3 gespeicherten Delta-Tabelle.

Sie können jeden Ordner analysieren, auf den von einem SQL-Analyseendpunkt verwiesen wird, und eine SQL-Tabelle für die referenzierten Daten erstellen. Verwenden Sie die SQL-Tabelle, um Daten in extern verwalteten Datenseen verfügbar zu machen und analysen darauf zu aktivieren.

Diese Verknüpfung fungiert als virtuelles Warehouse, das Sie in einem Warehouse für zusätzliche nachgelagerte Analyseanforderungen nutzen oder direkt abfragen können.

Führen Sie die folgenden Schritte aus, um Daten in Speicherkonten des externen Data Lake zu analysieren:

  1. Erstellen Sie eine Verknüpfung, die auf einen Ordner in Azure Data Lake Storage oder im Amazon S3-Konto verweist. Nachdem Sie Verbindungsdaten und Zugangsdaten eingegeben haben, wird im Seehaus eine Abkürzung angezeigt.
  2. Wechsle zum SQL-Analytics-Endpunkt des Lakehouse und finde eine SQL-Tabelle, die einen Namen hat, der mit dem Shortcut-Namen übereinstimmt. Diese SQL-Tabelle verweist auf den Ordner in ADLS oder S3.
  3. Abfragen der SQL-Tabelle, die auf Daten in ADLS oder S3 verweist. Verwenden Sie die Tabelle wie jede andere Tabelle im SQL-Analyseendpunkt. Sie können Tabellen verknüpfen, die auf Daten in verschiedenen Speicherkonten verweisen.

Note

Wenn die SQL-Tabelle nicht sofort im SQL-Analyseendpunkt angezeigt wird, warten Sie einige Minuten. Die SQL-Tabelle, die auf Daten im externen Speicherkonto verweist, wird mit einer Verzögerung erstellt.

Analysieren archivierter oder historischer Daten in einem Datensee

Die Datenpartitionierung ist eine bekannte Technik zur Optimierung des Datenzugriffs in Data Lakes. Speichern Sie partitionierte Datasets in hierarchischen Ordnerstrukturen im Format /year=<year>/month=<month>/day=<day>, wobei year, wo , monthund day die Partitionierungsspalten sind. Diese Struktur hält historische Daten logisch getrennt und ermöglicht es Verarbeitungs-Engines, die Daten bei Bedarf mithilfe leistungsfähiger Filter zu lesen, anstatt das gesamte Verzeichnis und alle darin enthaltenen Ordner und Dateien zu lesen.

Partitionierte Daten ermöglichen einen schnelleren Zugriff, wenn die Abfragen nach den Prädikaten filtern, die Prädikatspalten mit einem Wert vergleichen.

Ein SQL-Analyseendpunkt kann diesen Datentyp problemlos lesen, ohne dass eine Konfiguration erforderlich ist. Sie können Daten beispielsweise mithilfe einer beliebigen Anwendung in einem Data Lake archivieren, einschließlich SQL Server 2022 oder Azure SQL Managed Instance. Nachdem Sie Daten partitioniert und in einem See zu Archivierungszwecken mithilfe externer Tabellen landen, kann ein SQL-Analyseendpunkt partitionierte Delta Lake-Tabellen als SQL-Tabellen lesen und es Ihrer Organisation ermöglichen, sie zu analysieren. Dieser Ansatz reduziert die Gesamtbetriebskosten, verringert die Datenredundanz und ermöglicht Big-Data-, KI- und andere Analyseszenarien.

Sie können auch Zeitreiseabfragen verwenden, um frühere Versionen von Daten schnell abzufragen. Die Zeitreise ist eine kostengünstige und effiziente Funktion zum Abfragen der letzten Datenzustände mit T-SQL-Abfragen. Für einen Lakehouse-SQL-Analytics-Endpunkt ist Zeitreisen durch Vakuumretentionseinstellungen begrenzt. Informationen für den Einstieg finden Sie unter Anleitung: Abfragen mit Time Travel auf Anweisungsebene.

Datenvirtualisierung von Fabric-Daten mit Shortcuts

In Fabric ermöglichen Ihnen Arbeitsbereiche die Trennung von Daten basierend auf komplexen geschäftlichen, geografischen oder gesetzlichen Anforderungen.

Ein SQL-Analytics-Endpunkt ermöglicht es Ihnen, die Daten an Ort und Stelle zu lassen und die Daten weiterhin im Warehouse oder im Lakehouse zu analysieren, sogar in anderen Fabric-Arbeitsbereichen, mithilfe einer nahtlosen Virtualisierung. Jedes Seehaus in Fabric speichert Daten in OneLake.

Verknüpfungen ermöglichen es Ihnen, auf Ordner an einem beliebigen OneLake-Speicherort zu verweisen.

Jedes Lager in Fabric speichert Tabellendaten in OneLake. Wenn eine Tabelle nur angefügt werden kann, werden die Tabellendaten in OneLake als Delta Lake-Daten verfügbar gemacht. Verknüpfungen ermöglichen es Ihnen, Ordner in jedem OneLake zu referenzieren, in dem die Warehouse-Tabellen offengelegt sind.

Arbeitsbereichsübergreifende Freigabe und Abfragen

Arbeitsbereiche ermöglichen es Ihnen zwar, Daten basierend auf komplexen geschäftlichen, geografischen oder gesetzlichen Anforderungen abzutrennen, aber manchmal müssen Sie die Freigabe über diese Grenzen hinweg für bestimmte Analyseanforderungen ermöglichen.

Ein SQL-Analyse-Endpunkt in Lakehouse ermöglicht einen einfachen Datenaustausch zwischen Abteilungen und Nutzern, wobei ein Nutzer seine eigene Kapazität und ein eigenes Lager mitbringen kann. Arbeitsbereiche organisieren Abteilungen, Geschäftseinheiten oder analytische Domänen. Durch Verknüpfungen können Nutzer die Daten jedes Lagers oder jedes Lakehouse finden. Benutzer können ihre eigenen benutzerdefinierten Analysen aus denselben freigegebenen Daten sofort durchführen. Dieser Ansatz hilft nicht nur bei abteilungsbezogenen Rückbuchungen und der Nutzungszuordnung, sondern ist auch eine Zero-Copy-Version der Daten.

Der SQL-Analyseendpunkt ermöglicht das Abfragen einer beliebigen Tabelle und die einfache Freigabe. Sie können Kontrollen durch die Verwendung von Arbeitsbereichsrollen und Sicherheitsrollen hinzufügen, um zusätzliche Geschäftsanforderungen zu erfüllen.

Führen Sie die folgenden Schritte aus, um arbeitsbereichübergreifende Datenanalysen zu ermöglichen:

  1. Erstellen Sie eine OneLake-Verknüpfung, die auf eine Tabelle oder einen Ordner in einem Arbeitsbereich verweist, auf den Sie zugreifen können.
  2. Wählen Sie ein Seehaus oder Lager, das eine Tabelle oder einen Delta Lake-Ordner enthält, den Sie analysieren möchten. Wenn du eine Tabelle oder einen Ordner auswählst, erscheint im Seehaus eine Verknüpfung.
  3. Wechsle zum SQL-Analytics-Endpunkt des Lakehouse und finde die SQL-Tabelle, die einen Namen hat, der mit dem Shortcut-Namen übereinstimmt. Diese SQL-Tabelle verweist auf den Ordner in einem anderen Arbeitsbereich.
  4. Fragen Sie die SQL-Tabelle ab, die auf Daten in einem anderen Arbeitsbereich verweist. Sie können die Tabelle wie jede andere Tabelle im SQL-Analyseendpunkt verwenden. Sie können die Tabellen verknüpfen, die auf Daten in verschiedenen Arbeitsbereichen verweisen.

Weitere Informationen zur Sicherheit im SQL-Analyseendpunkt finden Sie unter OneLake-Sicherheit für SQL-Analyseendpunkte.

Note

Wenn die SQL-Tabelle nicht sofort im SQL-Analyseendpunkt angezeigt wird, warten Sie einige Minuten. Die SQL-Tabelle, die auf Daten in einem anderen Arbeitsbereich verweist, wird mit einer Verzögerung erstellt.

Analysieren von partitionierten Daten

Die Datenpartitionierung ist eine bekannte Technik zur Optimierung des Datenzugriffs in Data Lakes. Sie speichern partitionierte Datasets in hierarchischen Ordnerstrukturen im Format /year=<year>/month=<month>/day=<day>, wobei year, wo , monthund day die Partitionierungsspalten sind. Partitionierte Datasets ermöglichen einen schnelleren Datenzugriff, wenn die Abfragen Prädikate verwenden, die Daten filtern, indem Prädikatspalten mit einem Wert verglichen werden.

Ein SQL-Analyseendpunkt kann partitionierte Delta Lake-Datasets als SQL-Tabellen darstellen und Ihnen deren Analyse ermöglichen.

Weitere Informationen und Beispiele zum Abfragen externer Daten finden Sie unter Externe Data-Lake-Dateien mit Fabric Data Warehouse oder SQL Analytics Endpoint abfragen. Ein Beispiel und ein Anwendungsfall zum Abfragen partitionierter Parkettdateien finden Sie unter "Partitionierte Abfragedaten".

Analysieren Sie Daten im Seehaus, Lagerhaus oder Eventhaus

Die Hauptseiten „Lakehouse“ und „Warehouse“ enthalten den Eventhouse-Endpunkt als Teil des Menüs Daten analysieren. Der Eventhouse-Endpunkt bietet eine Eventhouse-gesteuerte Abfrageerfahrung direkt auf Lakehouse- und Warehouse-Daten, ohne Datenduplizierung oder manuelle Synchronisierung.

Screenshot der geöffneten Schaltfläche

Wenn Sie den Eventhouse-Endpunkt aktivieren, werden ein Eventhouse und eine KQL-Datenbank automatisch als untergeordnete Elemente des Quell-Lakehouse oder Warehouse erstellt, wobei die Schemasynchronisierung im Hintergrund behandelt wird. Der Endpunkt spiegelt immer das aktuelle Schema der Quelldaten wider, wodurch der analysenahe Zugriff in Echtzeit ermöglicht wird.

Diese Integration macht Eventhouse zu einer natürlichen Erweiterung der Datenquelle und nicht zu einem separaten System, das Sie einrichten und verwalten müssen. Weitere Informationen zum Eventhouse-Endpunkt finden Sie unter Aktivieren des Eventhouse-Endpunkts für Lakehouse und Warehouse.

Verwandte Inhalte

  • Last updated on