Interoperabilitet i tabelformatet Delta Lake

I Microsoft Fabric er tabelformatet Delta Lake standard for analyser. Delta Lake er et lagerlag med åben kildekode, der bringer ACID-transaktioner (Atomicity, Consistency, Isolation, Holdbarhed) til big data- og analysearbejdsbelastninger.

Alle Fabric-oplevelser genererer og forbruger oprindeligt Delta Lake-tabeller, hvilket giver en samlet produktoplevelse. Delta Lake-tabeller, der er produceret af ét beregningsprogram, f.eks. Fabric data warehouse eller Synapse Spark, kan forbruges af et hvilket som helst andet program, f.eks. Power BI. Når du indfører data i Fabric, gemmer den dataene som Delta-tabeller som standard. Du kan nemt integrere eksterne data, der indeholder Delta Lake-tabeller, ved hjælp af OneLake-genveje.

Delta Lake-funktioner og Fabric-oplevelser

For at opnå interoperabilitet er alle Fabric-oplevelserne på linje med Delta Lake-funktionerne og Fabric-funktionerne. Nogle oplevelser kan kun skrive til Delta Lake-tabeller, mens andre kan læse fra dem.

• Forfattere: Data warehouses, eventstreams og eksporterede semantiske Power BI-modeller til OneLake
• Læsere: Semantiske sql analytics-slutpunkter og semantiske Power BI-direct lake-modeller
• Forfattere og læsere: Fabric Spark-kørsel, dataflow, pipelines og KQL-databaser (Kusto Query Language)

Følgende matrix viser nøglefunktioner i Delta Lake og deres tilgængelighed på hver Fabric-oplevelse.

¹ KQL-databaser tilbyder visse tabelvedligeholdelsesfunktioner såsom opbevaring. Data fjernes i slutningen af opbevaringsperioden fra OneLake. Du kan få flere oplysninger under Én logisk kopi.

Aktuelle begrænsninger

Fabric understøtter i øjeblikket ikke disse Delta Lake-funktioner:

• V2 Checkpoints er ikke ensartet tilgængelige i alle oplevelser. Det er kun Spark-notesbøger og Spark-job, der kan læse og skrive til tabeller med V2 Checkpoints. Lakehouse og SQL analytics-endpoints viser ikke korrekt tabeller med V2 Checkpoint-filer i mappen __delta_log .
• Delta Lake 3.x Uniform. Denne funktion understøttes kun i Spark-compute for Data Engineering (Notesbøger, Spark-job).
• Identity columns writing (Azure Databricks feature).
• Lakeflow Spark Deklarative Pipelines (Azure Databricks feature).
• Delta Lake 4.x fungerer uden for Lakehouse og Spark Notebooks and Jobs: sammenstillinger, varianttype, koordinerede commits og mere. Typeudvidelse understøttes, hvor det er angivet i den tidligere funktionsmatrix i denne artikel.
• Python notebooks Delta Lake understøtter : Python notebooks bruger delta-rs (deltalake), DuckDB og Polars i stedet for Spark Delta Lake-læseren og -skriveren til at læse og skrive Delta Lake-tabeller. De deltalake-versioner, der i øjeblikket fastgøres af Fabric, understøtter ikke nogle funktioner i Delta Lake-tabellen, herunder sletningsvektorer, kolonnemapping, flydende klyngeskrivning og optimering samt typeudvidelse. Polars read_delta og write_delta brug deltalake som backend, så de deler de samme begrænsninger.
• Python notebooks Delta Lake workarounds og fallback: DuckDB delta_scan-funktionen kan give en skrivebeskyttet løsning for nogle tabeller, som deltalake ikke kan læse, såsom tabeller med sletningsvektorer. Hvis en Delta Lake-funktion ikke er tilgængelig eller ikke virker i en Python-notesbog, så brug i stedet en PySpark-notesbog. PySpark-notebooks giver den mest komplette Delta Lake-support i Fabric og dækker de Delta Lake-scenarier, der er angivet for Fabric Spark-runtimes i disse tabeller. For mere information, se Datainteraktion i Python notesbøger og Valg mellem Python og PySpark Notebooks i Microsoft Fabric.

Specialtegn i tabelnavne

Fabric understøtter særlige tegn som en del af tabelnavnene. Denne funktion tillader brugen af Unicode-tegn til at sammensætte tabelnavne i Fabric-oplevelser.

Følgende specialtegn er enten reserverede eller ikke kompatible med mindst én af Fabric teknologier og må ikke bruges som en del af et tabelnavn: " (dobbelt citationstegn), ' (enkelt citationstegn), #, %, +, :, ? eller ' (backtick).

Relateret indhold

• Delta Lake i Microsoft Fabric oversigt
• Tværarbejdstabelvedligeholdelse og optimering i Microsoft Fabric
• Lakehouse- og Delta Lake-tabeller
• Oversigt over Direct Lake
• Forespørgsler tabeller fra lageret gennem dets offentliggjorte Delta Lake Logs