Staged data-muligheder for Dataflow Gen2

Bemærkning

De trindelte dataindstillinger, der er beskrevet i denne artikel, er i øjeblikket i forhåndsvisning.

Når du aktiverer staging på en forespørgsel, skriver Dataflow Gen2 mellemliggende resultater til en intern staging-Lakehouse, så motoren kan bruge Fabric compute til transformationer eller til at lande data i en destination.

Afsnittet Staged Data i dataflow Scale-indstillingerne lader dig justere to aspekter af den pipeline:

  • Optimeret kopi til Lakehouse (Forhåndsvisning) — Brug en hurtigere sti til at skrive trinvise data til en Fabric Lakehouse-datadestination.
  • Aktivér V-Order-komprimering (Forhåndsvisning) — Anvend V-Order-komprimering på data skrevet til staging-Lakehouse.

Begge muligheder gælder på dataflow-niveau og træder kun i kraft i Dataflow Gen2.

Hvor man finder indstillingerne

  1. Åbn dit dataflow i Power Query-editoren.
  2. Vælg Indstillinger fra menuen.
  3. Gå til fanen Skala .
  4. De to indstillinger er listet under Staged Data.

Skærmbillede af dialogen Indstillinger med fanen Skala valgt og sektionen Staged Data markeret.

Optimeret kopi til Lakehouse (Forhåndsvisning)

Når denne mulighed er slået til, bruger Dataflow Gen2 en optimeret databevægelsessti til forespørgsler, der:

  • Hav staging aktiveret, og
  • Skriv til en Fabric Lakehouse datadestination.

I standardstien flyder data fra staging-lageret til Lakehouse med ekstra serialisering og netværkshop. Den optimerede rute reducerer disse hop, hvilket kan forkorte opdateringstiden betydeligt for staging-tunge datastrømme, der lander i et Lakehouse.

Hvornår skal du bruge den?

Tænd for dette, når du iscenesætter forespørgsler, der til sidst lander i en Fabric Lakehouse datadestination. Iscenesættelse er mest nyttig, når:

  • Din forespørgsel indeholder transformationer, der ikke folder til kilden.
  • Du vil gerne stole på Fabric staging compute (Lakehouse eller Warehouse) til at køre tunge operationer som joins, group-by eller filtre, før du skriver til destinationen.

For mere om, hvornår staging hjælper, se Best practices for at opnå den bedste ydeevne med Dataflow Gen2.

Standardfunktionsmåde

Indstillingen er slået fra som standard. For de fleste dataflows, der staverer data og skriver til et Fabric Lakehouse, er det fordelagtigt at slå denne mulighed til.

Overvejelser

  • Muligheden træder kun i kraft på forespørgsler, der har staging aktiveret og som skriver til en Fabric Lakehouse datadestination. For forespørgsler, der skriver til andre destinationer (Fabric Warehouse, Fabric SQL-database, Azure SQL, Snowflake, KQL, Azure Data Lake Storage Gen2, fildestinationer), har muligheden ingen effekt.
  • Hvis du slår staging fra for en forespørgsel, gælder den optimerede kopieringssti ikke for den forespørgsel.
  • Muligheden gælder for alle kvalificerende forespørgsler i dataflowet. Der er ingen override pr. forespørgsel i dag.

Aktivér V-Order-komprimering (Forhåndsvisning)

V-Order er en skrivetidsoptimering for Parquet-filformatet, som forbedrer læseydelsen for nedstrøms Fabric-motorer, dog på bekostning af ekstra CPU under skrivningen. For baggrund og vejledning på tværs af motorer, se Delta Lake tabeloptimering og V-Order og Cross-workload tabelvedligeholdelse og optimering.

Når denne mulighed er slået til, anvender Dataflow Gen2 V-Order-komprimering på data skrevet til staging-Lakehouse. Når den er slået fra, skrives staged data uden V-Order.

Hvornår skal V-Order slås til eller fra for iscenesættelse

Staging Lakehouse indeholder mellemliggende data, som kun bruges af Dataflow Gen2 selv: dataflowet genlæser de stadiede data under samme opdatering for at anvende yderligere transformationer eller for at skrive til en destination, og Dataflow-connectoren læser fra de stagede data, når andre elementer forespørger dataflowets output. Slutbruger-forespørgselsmotorer (Power BI Direct Lake, Fabric Warehouse, SQL analytics endpoint, Spark) læser ikke staging-Lakehouse direkte. Disse scenarier gælder i stedet for din Lakehouse-datadestination . For destinationsvejledning, se Enable V-Order compression på en destination i Lakehouse.

Da trindelte data typisk læses et lille antal gange inden for samme opdatering, er det et godt valg at slå V-Order fra for staging for de fleste dataflows. At springe V-Order over reducerer skrivetiden CPU og forkorter opdateringstiden, især ved store staging-skrivninger. Overvej at slå V-Order til for staging, hvis dataflowets staged output forbruges mange gange gennem Dataflow-connectoren, og du vil prioritere læseydelsen for de downstream-forespørgsler frem for staging-skriveomkostninger.

Standardfunktionsmåde

Indstillingen er slået til som standard. Brug ovenstående vejledning til at afgøre, hvad der passer bedst til din dataflow.

Hvor ellers gælder V-ordren

Ud over dataflow-niveauindstillingen, der styrer staging-Lakehouse, kan V-Order også styres på selve Lakehouse-datadestinationsforbindelsen via Enable using of V-Order compression advanced option. Den indstilling styrer, om data skrevet til destinationen Lakehouse er V-Order-komprimeret. Destinationen er overfladelæsningen fra Direct Lake, Fabric Warehouse, SQL-analyse-endpointet og Spark, så destinationsvejledning er baseret på scenarier.

For detaljer om destinationsniveau-muligheden, se Enable V-Order compression på en Lakehouse-destination.

Relateret indhold

  • Last updated on