Bedste praksis for at få den bedste ydeevne med Dataflow Gen2

Denne artikel indeholder de bedste fremgangsmåder til optimering af ydeevnen for Dataflow Gen2 i Fabric Data Factory. Ved at følge disse retningslinjer kan du forbedre effektiviteten og hastigheden af dine dataintegrationsprocesser.

Det lærer du

I denne artikel finder du:

• Områder til optimering af nøglepræstation: Forståelse af de tre vigtige komponenter (datakilde, dataflowprogram og datadestination), der påvirker ydeevnen for dit dataflow
• Kerneoptimeringsteknikker: Sådan udnytter du hurtig kopiering, forespørgselsdelegering og midlertidig lagring for at maksimere effektiviteten
• Scenarier fra den virkelige verden: Almindelige udfordringer med ydeevnen og deres specifikke løsninger
• Bedste praksis: Handlingsrettet vejledning til forskellige dataintegrationsmønstre og use cases

Hvad er de vigtigste områder at fokusere på til optimering af ydeevnen?

I dataflowets slut-til-slut-oplevelse er der flere vigtige områder at fokusere på til optimering af ydeevnen. Disse områder omfatter dataflytning, dataflowprogrammet og datatransformationerne. Hver af disse komponenter og stierne imellem spiller en afgørende rolle i den overordnede ydeevne af dit dataflow, og optimering af dem kan føre til betydelige forbedringer i udførelsestiden og ressourceudnyttelsen.

Dataflytning

Dataflytning er et kritisk aspekt af dataflowets ydeevne. Det omfatter overførsel af data mellem forskellige komponenter, f.eks. datakilder, midlertidige områder og endelige destinationer. Effektiv dataflytning kan reducere udførelsestiden og ressourceforbruget betydeligt. I Dataflow Gen2 er dataflytning optimeret via teknikker som Hurtig kopiering, hvilket gør det muligt at overføre data med høj dataoverførselshastighed uden at skulle bruge transformationer, der ikke foldes til kildesystemet. Få mere at vide om Hurtig kopi.

Datatransformering

Datatransformation er processen med at konvertere data fra én struktur til en anden, hvilket ofte involverer handlinger som filtrering, aggregering og sammenføjning. I Dataflow Gen2 er transformationer designet til at være effektive og anvende forespørgselsdelegeringsfunktioner, når det er muligt. Forespørgselsdelegering gør det muligt at skubbe transformationer ned til kildesystemet, hvilket reducerer mængden af data, der overføres og behandles i Dataflow Gen2. Denne reduktion er især vigtig for store datasæt, da den minimerer arbejdsbelastningen på dataflowmotoren og fremskynder udførelsestiden. Du kan få mere at vide om forespørgselsdelegering ved at gå til Forespørgselsdelegering. Følg også andre bedste fremgangsmåder til optimering af forespørgsler, f.eks. filtrering tidligt og ofte, brug af parameterisering til at begrænse dataeksempler og undgå unødvendige transformationer i dit dataflow. Du kan få mere at vide om forespørgselsoptimering ved at gå til Forespørgselsoptimering.

Beregning af midlertidige data og lager

Midlertidige data er en teknik, der bruges til at forbedre ydeevnen ved midlertidigt at gemme mellemliggende resultater i et midlertidigt område. Dataflow Gen2 leveres med en midlertidig Lakehouse og et midlertidigt lager, som kan bruges til at udføre transformationer mere effektivt. Ved at gemme data kan du bruge beregningsressourcerne i disse midlertidige områder til at opdele komplekse dataflow i håndterbare trin, hvilket reducerer den samlede behandlingstid. Denne opdeling er særligt nyttig for store datasæt eller komplekse transformationer, som ellers ville tage lang tid at udføre i ét enkelt trin. Du kan overveje midlertidige placeringer som et midlertidigt lagerområde, der giver dig mulighed for at folde transformationer. Denne fremgangsmåde er især nyttig, når du arbejder med datakilder, der ikke understøtter forespørgselsdelegering, eller når transformationer er for komplekse til at blive skubbet ned til kildesystemet. Hvis du vil anvende midlertidig lagring effektivt, kan du holde øje med foldeindikatorerne i datafloweditoren for at sikre, at dine transformationer skubbes ned til kilden. Hvis du bemærker, at en transformation ikke foldes, kan du overveje at opdele forespørgslen i to forespørgsler og anvende transformationen i den anden forespørgsel. Aktivér midlertidig lagring på den første forespørgsel for at udføre transformationen i den midlertidige Beregning af Lakehouse eller Warehouse. Denne fremgangsmåde giver dig mulighed for at drage fordel af de beregningsressourcer, der er tilgængelige i de midlertidige områder, samtidig med at du sikrer, at dit dataflow forbliver effektivt og dynamisk.

Når du har data, der allerede er klargjort i Lakehouse eller Warehouse, og du anvender flere transformationer, der foldes helt ind i følgende forespørgsler, skriver dataflowet outputtet til det midlertidige lagersted. Dette kan være hurtigere end at skrive til det iscenesatte Lakehouse, fordi datasættet kan skrives parallelt af DW og vil gennemgå færre netværkshop med deres tilsvarende serialiseringstrin.

Scenarier og hvilke optimeringer der skal overvejes

Når du arbejder med Dataflow Gen2, er det vigtigt at forstå de forskellige scenarier, du kan støde på, og hvordan du optimerer ydeevnen i hvert enkelt tilfælde. Følgende overvejelser giver praktisk vejledning i, hvordan du anvender de bedste fremgangsmåder i situationer i den virkelige verden. Ved at skræddersy din tilgang baseret på de specifikke egenskaber for dine data og transformationer kan du opnå optimal ydeevne i dine arbejdsprocesser til dataintegration. Her er nogle almindelige scenarier, du kan støde på, når du arbejder med Dataflow Gen2, sammen med anbefalede handlinger for at optimere ydeevnen. Vær opmærksom på, at optimering af ydeevnen er en løbende proces og meget specifik for dit scenarie. Du skal muligvis justere din tilgang baseret på de specifikke egenskaber for dine egne data og transformationer.

Overvejelse 1: Gør dataflytning bedre med Hurtig kopi

I dette scenarie kan du se, at dataflytning mellem din datakilde og det midlertidige område eller til din endelige destination tager længere tid end forventet. Der kan være flere faktorer, f.eks. netværksventetid, store datasætstørrelser eller ineffektive metoder til dataoverførsel.

I dette tilfælde bør du overveje at evaluere dataflytningsstien og optimere den for at få en bedre ydeevne. En metode er at bruge Hurtig kopiering til dataoverførsel med høj dataoverførselshastighed, hvilket kan reducere kørselstiden betydeligt. Hurtig kopiering er designet til at håndtere store datamængder effektivt og minimere de omkostninger, der er forbundet med traditionelle metoder til dataoverførsel. Vær dog forsigtig: Hvis du tilføjer transformationer i den samme forespørgsel som en hurtig kopihandling, kan det deaktivere Hurtig kopiering, hvis transformationerne ikke foldes til kildesystemet. I sådanne tilfælde kan du overveje at adskille forespørgslen i to trin: én for handlingen Hurtig kopiering og en anden for transformationerne ved hjælp af den midlertidige Beregning af Lakehouse eller Warehouse. Denne fremgangsmåde giver dig mulighed for at drage fordel af Hurtig kopiering til dataflytning med høj gennemløb, mens du udfører de nødvendige transformationer i et separat trin. Få mere at vide om Hurtig kopi.

Du kan aktivere Hurtig kopiering i indstillingerne for dataflowet. Denne indstilling er som standard aktiveret, men du kan også kræve, at Hurtig kopi bruges til en bestemt forespørgsel i dit dataflow. Det gør du ved at vælge indstillingen Kræv hurtig kopi i forespørgselsindstillingerne. Denne handling sikrer, at Hurtig kopi bruges til den valgte forespørgsel, og at den ignorerer minimumsstørrelsesgrænsen for Hurtig kopi. Denne indstilling er især nyttig, når du vil sikre, at Hurtig kopi bruges til bestemte forespørgsler, uanset datastørrelsen eller andre betingelser. Hvis du har brug for hurtig kopi, skal du sørge for, at datakilden er kompatibel med hurtig kopi, og at transformationerne i forespørgslen kan skubbes ned til kildesystemet. Hvis du har brug for hurtig kopi på en forespørgsel, der ikke er kompatibel med hurtig kopi, mislykkes dataflowet. Hvis du ikke har brug for hurtig kopi, kører dataflowet stadig, men det kan falde tilbage til standardmetoden til dataflytning, som muligvis ikke er så effektiv som hurtig kopi. Denne fleksibilitet giver dig mulighed for at optimere dit dataflow baseret på de specifikke krav til dine dataintegrationsprocesser.

Overvejelse 2: Gør udførelsestiden for komplekse transformationer bedre ved hjælp af midlertidig lagring

I dette scenarie har du et dataflow med flere komplekse transformationer, f.eks. joinforbindelser, sammenlægninger og filtrering. Udførelsestiden er længere end ønsket, og du vil optimere ydeevnen af disse transformationer.

I dette tilfælde kan du overveje at opdele dataflowet i mindre trin, der kan administreres. I stedet for at udføre alle transformationer i en enkelt forespørgsel kan du iscenesætte dataene i en midlertidig Lakehouse eller Warehouse og derefter anvende transformationerne i efterfølgende forespørgsler. Denne fremgangsmåde giver dig mulighed for at anvende beregningsressourcerne i det midlertidige område for komplekse transformationer, hvilket reducerer den samlede udførelsestid. Sørg desuden for, at dine transformationer er designet til at folde til kildesystemet, når det er muligt, da dette kan forbedre ydeevnen væsentligt ved at reducere mængden af data, der overføres og behandles i Dataflow Gen2. Hvis du bemærker, at visse transformationer ikke foldes, kan du overveje at opdele dem i separate forespørgsler og anvende dem efter lagring af dataene.

På følgende billede kan du se, hvordan foldeindikatorerne i datafloweditoren kan hjælpe dig med at identificere, hvilke transformationer der pushes ned til kildesystemet.

Hvis du vil implementere midlertidig lagring effektivt, kan du opdele dataflowet i to forespørgsler. Det gør du ved at højreklikke på det første trin, der ikke foldes til kildesystemet, og vælge indstillingen Uddrag forrige . Denne handling opretter en ny forespørgsel, der faser dataene i den midlertidige Lakehouse- eller Warehouse-beregning, så du kan udføre transformationen i et separat trin. Denne fremgangsmåde hjælper dig med at drage fordel af de beregningsressourcer, der er tilgængelige i de midlertidige områder, samtidig med at du sikrer, at dit dataflow forbliver effektivt og dynamisk.

Angiv derefter et navn til den nye forespørgsel, og vælg "OK".

Nu, hvor den nye forespørgsel er oprettet, kan du kontrollere, om midlertidig lagring er aktiveret for den første forespørgsel. Hvis midlertidig lagring ikke er aktiveret, kan du aktivere den ved at vælge indstillingen Aktivér midlertidig lagring i forespørgselsindstillingerne. Denne handling giver dig mulighed for at udføre transformationer i den midlertidige Lakehouse- eller Warehouse-beregning og optimere ydeevnen af dit dataflow. Den anden forespørgsel er valgfri, men den kan forbedre ydeevnen yderligere ved at give dig mulighed for at udføre yderligere transformationer i det midlertidige område, før du skriver det endelige output til destinationen.

Hvis du nu ser på foldningsindikatorerne i datafloweditoren, skubbes transformationerne i den første forespørgsel ned til kildesystemet. Den anden forespørgsel afspejler muligvis ikke de samme foldeindikatorer, da det kun er under kørsel, der er opmærksom på det midlertidige område, og de transformationer, der kan skubbes ned til det midlertidige område.

Hvis du vil vide mere om, hvordan du optimerer dine dataflowtransformationer og sikrer, at de skubbes ned til kildesystemet, skal du gå til Forespørgselsdelegering.

Overvejelse 3: Optimer staging-til-Lakehouse databevægelse for en Lakehouse-destination

I dette scenarie skal du bruge en Lakehouse-destination til din dataflow, og aktivere staging for at køre transformationer, før du skriver det endelige output. Sørg for, at trinnet, der flytter staged data til Lakehouse, ikke tilføjer unødvendigt ekstra belastning på den samlede opdateringstid.

Et Lakehouse er en fuldt understøttet, højtydende destination for dette mønster. Databevægelsen fra staging-lageret til Lakehouse-destinationen er optimeret, så du ikke længere behøver at skifte destination til et lager for at opnå god ydeevne. Den anbefalede tilgang er ELT-mønsteret: brug Fast Copy til hurtigt at lande dataene, kør dine transformationer på de staged data ved hjælp af Fabric staging compute, og skriv det endelige output til Lakehouse. For store datasæt er Fast Copy fortsat den anbefalede måde at flytte dataene effektivt på.

For at få mest muligt ud af dette mønster i dag, opdel Fast Copy- og transformationsarbejdet i to forespørgsler: én forespørgsel, der udfører hurtig kopi-databevægelsen, og en anden forespørgsel, der anvender transformationerne på de trindelte data, før den skriver til Lakehouse-destinationen. At kombinere en Fast Copy-operation med ikke-foldende transformationer i samme forespørgsel deaktiverer Fast Copy, så det vigtigste at holde dem i separate forespørgsler er det vigtigste. Hvis dine transformationer folder sig fuldt ud til kilden, kan du også skrive direkte til Lakehouse med iscenesættelse deaktiveret.

Når du stage-data og skriver til en Lakehouse-destination, skal du aktivere muligheden Optimeret kopi til Lakehouse (Preview) på fanen Scale for at rute de stagede data til Lakehouse via den hurtigere kopieringssti, hvilket reducerer overheaden ved staging-til-Lakehouse-hoppet. For mere information, se Staged data-muligheder for Dataflow Gen2.

Overvejelse 4: Store dataeksempler i designtiden

I dette scenarie arbejder du på et dataflow med store datasæt, og designtidsoplevelsen er langsom på grund af størrelsen af dataeksempler. Denne proces kan gøre det svært at oprette og teste dit dataflow effektivt.

I dette tilfælde kan du overveje at bruge enten skemavisning eller parameterisering til at begrænse størrelsen på dataeksempler. Ved at anvende filtre, der er baseret på parametre, f.eks. et datointerval eller bestemte id'er, kan du reducere mængden af data, der vises i designtidsmiljøet. Denne fremgangsmåde hjælper med at holde designmiljøet dynamisk og effektivt, så du kan fokusere på at oprette og teste dit dataflow uden at blive hæmmet af store dataeksempler. Derudover kan du justere parametrene under kørsel for at hente det fulde datasæt, når det er nødvendigt.

Hvis du f.eks. arbejder med et stort transaktionsdatasæt, kan du oprette en parameter, der filtrerer dataene baseret på et bestemt datointerval. På denne måde kan du i designtiden kun se et undersæt af de data, der er relevante for dit aktuelle arbejde. Når du er klar til at køre dataflowet, kan du justere parameteren, så den omfatter hele datasættet, så det sikres, at dine dataintegrationsprocesser forbliver effektive og dynamiske. I følgende eksempel kan du se, hvordan du konfigurerer en parameter i Dataflow Gen2:

1. Vælg indstillingen Administrer parametre i datafloweditoren.

2. Vælg knappen Tilføj parameter for at tilføje en ny parameter.

   

3. Udfyld parameteroplysningerne, f.eks. navn, type og værdi. Du kan f.eks. oprette en parameter med navnet DesignDateFilter af typen DateTime med en standardværdi, der begrænser dataeksemplet til et bestemt datointerval.

   

4. Anvend parameteren i dine dataflowforespørgsler ved at bruge den i filterbetingelserne. Du kan f.eks. filtrere dataene baseret på parameteren DesignDateFilter for at begrænse dataeksemplet til et bestemt datointerval. I dette tilfælde filtrerer vi dataene til kun at omfatte poster, hvor kolonnen "Dato" er større end parameteren DesignDateFilter .

   

5. Nu kan du bruge parameteren DesignDateFilter i dine dataflowforespørgsler til at begrænse dataeksemplet i designtiden. Når du er klar til at køre dataflowet, kan du justere parameterværdien, så den omfatter hele datasættet, så det sikres, at dine dataintegrationsprocesser forbliver effektive og dynamiske.

   

En anden mulighed er at bruge skemavisningen, som giver dig mulighed for at se strukturen af dine data uden at indlæse hele datasættet. Denne visning giver et overblik over datatyperne og kolonnerne i dit datasæt, så du kan designe og teste dit dataflow uden at blive påvirket af eksempler på store data. Hvis du vil skifte til skemavisning, skal du vælge indstillingen Skemavisning i datafloweditoren.

Overvejelse 5: Kørselsegenskaber for dataflow gen2 sammenlignet med Dataflow Gen1

I dette scenarie kan du se, at ydeevnen for Dataflow Gen2 er langsommere end ydeevnen for Dataflow Gen1, især med hensyn til udførelsestid og ressourceforbrug. Denne forskel i ydeevne kan skyldes flere faktorer, herunder forskellene i optimeringsteknikker og outputformater, der bruges i Dataflow Gen2.

Dataflow Gen2 udsender data i Delta Parquet-format, når du bruger midlertidige destinationer eller Lakehouse-destinationer, som adskiller sig fra Dataflow Gen1's CSV-output. Selvom Delta Parquet kan resultere i længere ETL-kørsel sammenlignet med CSV, muliggør den effektive downstreamfunktioner, f.eks. Direct Lake, Lakehouses og Warehouses, så disse tjenester kan forbruge data effektivt uden yderligere behandling eller omkostninger. Denne forskel i lagringsmetoden betyder, at selvom den indledende udførelsestid kan være længere, kan den overordnede ydeevne og effektivitet af downstreamprocesser forbedres betydeligt og føre til en bedre langsigtet ydeevne af dine arbejdsprocesser til dataintegration. Få mere at vide om Delta Parquet-format.

Overvejelse 6: Optimering af opdateringstiden for store transaktionsdatasæt ved hjælp af trinvis opdatering

I dette scenarie arbejder du med et stort transaktionsdatasæt, der opdateres ofte, og du vil optimere opdateringstiden for dit dataflow. Denne optimering kan være udfordrende på grund af mængden af data og behovet for kun at behandle de nye eller ændrede poster.

I dette tilfælde kan du overveje at bruge trinvis opdatering eller mønsteret til trinvist at samle data. Trinvis opdatering giver dig mulighed for kun at behandle de nye eller ændrede data siden den seneste opdatering, hvilket reducerer mængden af behandlede data og fremskynder den samlede udførelsestid. Denne fremgangsmåde er især nyttig i scenarier, hvor data opdateres ofte, f.eks. i transaktionssystemer. Ved at implementere trinvis opdatering kan du optimere ydeevnen af dit dataflow og sikre, at dine dataintegrationsprocesser forbliver effektive og dynamiske. Få mere at vide om trinvis opdatering, eller få mere at vide om mønsteret Trinvis indsamling af data.

Betragtning 7: Jeg bruger en gateway til at oprette forbindelse til min datakilde i det lokale miljø, og jeg vil optimere ydeevnen af mit dataflow

I dette scenarie bruger du en gateway til at oprette forbindelse til din datakilde i det lokale miljø, og du vil optimere ydeevnen for dit dataflow. Gateways kan introducere yderligere ventetid og ekstra omkostninger, hvilket kan påvirke den overordnede ydeevne af dit dataflow.

I dette tilfælde kan du overveje at opdele dit dataflow i to separate dataflow: ét til dataflytning fra datakilden i det lokale miljø til en datadestination (f.eks. et Lakehouse eller Warehouse) og et andet til transformationer og endeligt output. Denne fremgangsmåde giver dig mulighed for at optimere dataflytningstrinnet ved at udnytte Hurtig kopiering til dataoverførsel med høj dataoverførselshastighed, samtidig med at transformationstrinnet fokuserer på at behandle dataene effektivt og reducere den samlede udførelsestid. Ved at adskille dataflytnings- og transformationstrinnene kan du reducere effekten af ventetid og kapacitetsbegrænsninger for gatewayen. Årsagen til dette er, at gatewayen kører hele dataflowet, og hvis dataflowet er komplekst eller har mange transformationer, kan det føre til langsommere ydeevne, da gatewayen behandler alle transformationerne på den computer, der hoster gatewayen. Ved at opdele dataflowet kan du sikre, at gatewayen kun er ansvarlig for dataflytningstrinnet, hvilket kan forbedre ydeevnen betydeligt og reducere udførelsestiden.

Overvejelse 8: Jeg bruger dataflowconnectors til at forbruge data fra dataflowet og vil optimere mine dataintegrationsprocesser

I dette scenarie bruger du dataflowconnectors til at forbruge data fra dit dataflow, og du vil optimere dine dataintegrationsprocesser. Dataflowconnectors kan give en nem måde at få adgang til og forbruge data på.

I dette tilfælde kan du overveje at bruge datadestinationer i stedet for dataflowconnectors til brug af data fra dit dataflow. Datadestinationer, f.eks. Lakehouses og Warehouses, er designet til effektivt at gemme og betjene data, så du kan anvende deres funktioner til downstreamforbrug. En stor fordel ved at bruge datadestinationer er, at de ofte tjener mere generiske måder at oprette forbindelse til data på, f.eks. SQL-slutpunktet eller bruge Direct Lake-funktionerne, hvilket kan forbedre ydeevnen betydeligt og reducere ressourceforbruget.

Overvejelse 9: Gør Modern Evaluator tilgængelig for forbedret forespørgselsudførelsesydelse

I dette scenarie vil du forbedre den samlede ydeevne af dit dataflow, især til komplekse transformationer eller når du arbejder med connectors, der ikke understøtter forespørgselsfoldning.

I dette tilfælde bør du overveje at aktivere Modern Query Evaluation Engine (Modern Evaluator) for din Dataflow Gen2 med CI/CD. Modern Evaluator er en ny forespørgselsudførelsesmotor, der kører på .NET Core 8, og som kan forbedre ydeevnen ved dataflow-kørsler betydeligt. Det anbefales altid at aktivere denne funktion i understøttede scenarier, da den giver flere vigtige fordele:

• Hurtigere udførelse af dataflow: Det moderne program kan reducere evalueringstiden for forespørgsler betydeligt. Mange dataflow kører mærkbart hurtigere, så du kan opdatere data oftere eller opfylde stramme opdateringsvinduer.
• Mere effektiv behandling: Motoren er optimeret til effektivitet ved hjælp af forbedrede algoritmer og en moderne runtime. Det betyder, at den kan håndtere komplekse transformationer med mindre overhead, hvilket hjælper med at opretholde ydeevnen, efterhånden som din datamængde vokser.
• Skalerbarhed og pålidelighed: Ved at fremskynde udførelsen og reducere flaskehalse hjælper Modern Evaluator dataflow med at skalere til større mængder med større stabilitet. Du kan forvente mere konsistente opdateringstider og færre timeout-problemer på store dataflows.

Den Moderne Evaluator er særligt nyttig, når:

• Du arbejder med ikke-foldbare eller delvist foldbare stik
• Du anvender filtre, kolonneafledninger eller datarensningsoperationer
• Du har med store datamængder eller komplekse transformationer at gøre
• Dine dataflows kører flere gange om dagen, og du skal opbygge tidsbesparelser

For at aktivere den moderne evaluator:

1. Åbn dit dataflow i Power Query-editoren.
2. Vælg Indstillinger fra menuen.
3. Gå til fanen Skala .
4. Slå Modern query review engine-funktionen til.
5. Gem og kør din dataflow.

Modern Evaluator understøtter en voksende liste af stik. For den fulde liste over understøttede stik og nuværende funktionsstatus, se Modern Evaluator for Dataflow Gen2 med CI/CD. Hvis dit dataflow bruger connectors, der ikke er på den understøttede liste, fortsætter disse forespørgsler med at køre med standardmotoren.

For at lære mere om Modern Evaluator, se Modern Evaluator for Dataflow Gen2 med CI/CD.

Conclusion

Ved at følge disse bedste fremgangsmåder og overveje de specifikke egenskaber ved dine data og transformationer kan du optimere ydeevnen for Dataflow Gen2 i Fabric Data Factory. Uanset om du arbejder med store datasæt, komplekse transformationer eller specifikke mønstre for dataintegration, giver disse retningslinjer handlingsvenlig indsigt for at forbedre effektiviteten og hastigheden af dine dataintegrationsprocesser. Husk, at optimering af ydeevnen er en løbende proces, og du skal muligvis justere din tilgang baseret på de skiftende behov i dine arbejdsprocesser til dataintegration. Ved løbende at overvåge og optimere dine dataflow kan du sikre, at de forbliver effektive og reagerer på dine forretningsmæssige krav.