Hva er Copy job i Data Factory for Microsoft Fabric?

Copy job er den go-to løsningen i Data Factory Microsoft Fabric forenklet dataflyt fra mange kilder til mange destinasjoner – ingen pipelines kreves. Med innebygd støtte for flere leveringsstiler, inkludert bulkkopiering, inkrementell kopi og endringsdatainnsamling (CDC)-replikering, gir Copy job fleksibilitet til å håndtere et bredt spekter av databevegelsesscenarier – alt gjennom en intuitiv og brukervennlig opplevelse. Enten du er ny innen dataintegrasjon eller bare ønsker en raskere måte å få dataene dine dit de skal, tilbyr Copy Job en fleksibel og brukervennlig løsning.

Fordeler

Noen fordeler med kopieringsjobben i forhold til andre metoder for dataflytting inkluderer:

• Enkel å bruke: Konfigurer og overvåk datakopiering med en enkel, veiledet opplevelse – ingen teknisk ekspertise er nødvendig.
• Effektiv: Kopier bare nye eller endrede data fra forrige kjøring for å spare tid og ressurser, med minimale manuelle trinn.
• Fleksibel: Velg hvilke data som skal flyttes, tilordne kolonner, angi hvordan data skrives, og planlegg at jobber skal kjøres én gang eller regelmessig.
• Høy ytelse: Flytt store mengder data raskt og pålitelig, takket være et serverløst, skalerbart system.

Du kan også gå til strategien for dataflytting for å se hvordan kopieringsjobb sammenlignes med speiling og kopieringsaktivitet i pipeliner.

Concepts

Kopieringsmoduser (full kopi, trinnvis kopi)

Du kan velge hvordan dataene dine skal kopieres fra kilde til destinasjon:

• Full kopi: Hver gang jobben kjøres, kopierer den alle data fra kilden til destinasjonen.
• Inkrementell kopi: Den første kjøringen kopierer alt, og påfølgende kjøringer flytter bare nye eller endrede data siden forrige kjøring.

Trinnvis kopi (CDC, vannmerke)

I inkrementell kopi overfører hver kjøring etter den første fullstendige kopien (kalt en "påfølgende lasting") kun visse endringer. Kopieringsjobben sporer og administrerer automatisk tilstanden til den siste vellykkede kjøringen, slik at den vet hvilke data som skal kopieres neste gang. Kopieringsjobben støtter vannmerkebasert inkrementell kopiering (som ROWVERSION, datotid, dato, streng tolket som datotid og heltallskolonner) og CDC-basert inkrementell kopiering når CDC er aktivert på kildekoden.

Hvis en kopijobb feiler, trenger du ikke bekymre deg for datatap. Kopijobben gjenopptas alltid fra slutten av den siste vellykkede kjøringen. En feil endrer ikke tilstanden som styres av kopijobben. Du kan også tilbakestille inkrementell kopi tilbake til full kopi når som helst – enten for hele jobben eller per tabell.

Når bør man bruke CDC vs. vannmerkebasert inkrementell kopiering

• Bruk CDC-basert inkrementell kopiering når CDC er aktivert på kilden din og støttes av Copy job-kontakten, og du må replikere innsettinger, oppdateringer og slettinger, holde destinasjonen kontinuerlig synkronisert, støtte SCD Type 2-historikk, eller minimere skannelast på tabeller med høyt volum.
• Bruk vannmerkebasert inkrementell kopi når CDC ikke er tilgjengelig på kilden din, men tabellen din har en pålitelig inkrementell kolonne (for eksempel ROWVERSION, datotid, dato, heltall eller streng tolket som datotid) og du bare trenger å spore innsettinger og oppdateringer.

Se flere detaljer i:

• Inkrementell kopiering i kopijobben.
• Endre datainnsamling (CDC) i Copy Job.

Full og inkrementell kopi av datasett med databasespørringer

Du kan kopiere delmengder av data fra tabellene dine ved hjelp av databasespørringer, noe som åpner for et bredt spekter av datainntastingsscenarier. Eksempel:

• Kopier kun data for en spesifikk region fra en tabell som har en regionskolonne for å oppfylle samsvarskravene for datainntak.
• Kopier kun de øverste N radene for testing eller sampling.
• Projiser en kolonne til en støttet type (for eksempel kast en numerisk varchar kolonne til et heltall) slik at du kan bruke den som inkrementeller kolonne. For mer informasjon, se Incremental copy i Copy job.

Denne funksjonaliteten støtter både fullstendige og inkrementelle kopier på tabelldelsett basert på dine tilpassede spørringer, noe som lar deg fleksibelt velge og filtrere data før du laster inn. Datainnsamlingen din blir mer effektiv, presis og tilpasset dine behov.

Oppdateringsmetoder (Legg, Overskriving, Sammenslåing, SCD Type 2)

Du kan også bestemme hvordan data skal skrives til målet:

Som standard legger Kopier jobb til nye data, slik at du beholder en fullstendig historikk. Hvis du foretrekker det, kan du velge å slå sammen (oppdatere eksisterende rader med en nøkkelkolonne), overskrive (erstatte eksisterende data), eller SCD Type 2 (bevare endringshistorikken med effektiv datering). Hvis du velger merge eller SCD Type 2, bruker Copy job primærnøkkelen som standard, hvis en finnes.

• Når du kopierer til en database: Nye rader legges til i tabellene. For støttede databaser kan du også velge å slå sammen, overskrive eller bruke SCD Type 2 for eksisterende data.
• Når du kopierer til lagring: Nye data lagres som nye filer. Hvis det allerede finnes en fil med samme navn, erstattes den.

Når du utfører en trinnvis kopi fra kilden og fletter inn i målet, settes rader fra kilden inn eller oppdateres i målet. Når du utfører CDC-replikering fra kilden og fletter inn i målet, settes rader fra kilden inn, oppdateres eller slettes i målet. Når SCD Type 2 brukes med CDC-replikering, bevares endringene som versjonerte rader med effektiv datering, og slettinger håndteres som myke slettinger.

Se flere detaljer for SCD Type 2 i CDC Copy jobb.

Automatisk tabellopprettelse og trunkering av destinasjon

Kopieringsjobben kan automatisk lage tabeller i destinasjonen hvis de ikke allerede eksisterer. Hvis destinasjonstabellene allerede er tilgjengelige, kan du ganske enkelt velge dem som mål. Ved å bruke fleksible kolonnekartleggingsalternativer kan du enkelt definere hvordan skjemaer fra kildetabellene skal mappes til destinasjonstabellene.

Du kan også eventuelt forkorte destinasjonsdata før full last, slik at kilde og destinasjon er fullstendig synkronisert uten duplikater.

Som standard sletter ikke kopieringsjobben noen data i destinasjonen. Når du aktiverer dette alternativet:

• Den første kjøringen med trinnvis kopiering avkorter alle data i målet før hele datasettet lastes inn.
• Påfølgende trinnvise kopier vil fortsette å tilføye eller slå sammen data uten å påvirke eksisterende poster.
• Hvis du senere tilbakestiller inkrementell kopi til full kopi, vil denne funksjonen igjen slettes destinasjonen før den laster inn.

Denne tilnærmingen sikrer at destinasjonen din forblir ren, fullstendig synkronisert og fri for duplikater, og gir et pålitelig grunnlag for din datainnsamlingsløsning.

Connector	Automatisk tabellopprettelse	Kort destinasjon før full belastning
Azure SQL DB
Azure SQL Managed Instance
Azure Synapse SQL Pool
Fabric Lakehouse bord
Stoff lager
Lokal SQL Server
Oracle
Snowflake
SQL-database i Fabric (forhåndsversjon)

Revisjonskolonner

Revisjonskolonner er ekstra metadatakolonner som Kopijobben automatisk kan legge til hver rad den skriver til destinasjonen. Når du aktiverer revisjonskolonner, kan hver rad i destinasjonstabellen berikes med informasjon som:

• Tid for datautvinning
• Kildefilsti
• Arbeidsområde-ID, Kopier jobb-ID, Kopier jobb-kjøre-ID, og Kopier jobbnavn
• Inkrementell vindu-nedre grense og øvre grense
• Egendefinerte brukerdefinerte verdier

Med revisjonskolonner får du rad-nivå datalinje uten egendefinert kode, noe som muliggjør samsvarsrapportering, feilsøking av datakvalitet og sporing av ferskhet i inntak.

Se flere detaljer i revisjonskolonner i Kopijobb.

Prestasjon

Kopieringsjobben optimaliserer automatisk kopieringsytelsen basert på datavolumet, så du får rask dataflyt uten manuell justering. Enten du kopierer en liten oppslagstabell eller en stor transaksjonslogg, anvender Copy job automatisk riktig strategi for hver tabell.

Når du kopierer data fra store tabeller, kan du også valgfritt aktivere automatisk partisjonering (Forhåndsvisning). Med auto-partisjonering analyserer kopijobben kildeskjemaet og datakarakteristikkene for å finne den optimale partisjoneringsstrategien. Den velger automatisk riktig partisjonskolonne, beregner balanserte grenser og utfører parallelle lesinger — alt uten noen brukerinput. Dette kan dramatisk øke gjennomstrømningen for store datasett. Du kan slå på auto-partisjoneringsbryteren under Avanserte innstillinger i kopieringsjobben din.

Auto-partisjonering støttes for vannmerkebasert inkrementell kopiering, inkludert både initial full kopi og inkrementell kopi, på følgende koblinger: Amazon RDS for SQL Server, Azure SQL Database, Azure Synapse Analytics (SQL Pool), Fabric datalager, SQL-database i Fabric, SQL Server, Azure SQL Managed Instance, Oracle, SAP HANA og Fabric Lakehouse-tabeller.

Kjørealternativer (Kjør, Planlegg, Hendelsesutløser)

Du har full fleksibilitet til å bestemme når en kopieringsjobb skal kjøres – den kan kjøres én gang eller etter en tidsplan. Selv om en jobb er planlagt, kan du fortsatt velge Kjør når som helst for å utløse den manuelt. Ved trinnvis kopiering vil den manuelt utløste jobben fortsatt bare overføre endringer siden forrige kjøring.

Med støtte for flere tidsplaner i kopieringsjobb får du enda større kontroll. En enkelt kopieringsjobb kan ha flere tidsplaner, for eksempel én som kjører daglig kl. 6 og en annen som kjører ukentlig på søndager. Alle tidsplaner kan administreres direkte i samme kopieringsjobb, noe som gjør orkestrering enklere, renere og mer effektiv.

Hvis du bruker kopijobb-aktiviteten i en pipeline, kan du også dra nytte av pipelinens orkestrerings- og triggerfunksjoner. Du kan for eksempel bruke hendelsesutløsere til å starte en kopieringsjobbaktivitet når bestemte hendelser inntreffer, for eksempel nye filer som kommer til en datasjø eller endringer i en database.

Se mer informasjon for kopieringsjobbaktivitet.

Hostingalternativer (Virtuelt nettverk, On-premises, Sky)

Du kan bruke kopieringsjobb til å flytte data fra en hvilken som helst kilde til et hvilket som helst mål, enten dataene er lokale, i skyen eller i et virtuelt nettverk. På tilkoblingssiden til Copy job kan du velge mellom flere vertsalternativer, inkludert en lokal gateway eller en virtuell nettverksgateway, for å sikre sikker tilgang til data bak en brannmur eller i et virtuelt nettverk.

Se flere detaljer for å Sikre databevegelsen din med Copy Job og virtuelt nettverk Data Gateway.

Operasjonalisering (GIT/CICD, variabelbibliotek)

Du kan bruke kildekontroll, kontinuerlig integrering, kontinuerlig distribusjon og et samarbeidsmiljø til å kjøre vellykkede dataanalyseprosjekter med kopieringsjobb.

I tillegg, med støtte for variabelbibliotek, kan du parameterisere tilkoblinger i kopijobben. Denne kraftige funksjonaliteten effektiviserer CI/CD ved å eksternalisere tilkoblingsverdier, slik at du kan distribuere samme kopijobb på tvers av flere miljøer mens variabelbiblioteket injiserer riktig tilkobling for hvert trinn.

Se mer informasjon i CI/CD for Kopieringsjobb.

Støttede koblinger

Med Kopier jobb kan du flytte dataene mellom skydatalagre eller fra lokale kilder som er bak en brannmur eller i et virtuelt nettverk ved hjelp av en gateway.

Se vår side for støttede koblinger for fullstendig liste over støttede kilder og destinasjoner:

• Kilder og destinasjoner
• Endringsdatainnsamling (CDC) replikering (Forhåndsvisning)

Send inn tilbakemelding på Fabric Ideas og bli med i samtalen på Fabric Community.

Tilordning av datatype

Kopier aktivitet i pipeliner og kopier jobb utfør kildetyper til måltypetilordning med følgende flyt:

1. Konverter fra opprinnelige kildedatatyper til midlertidige datatyper som brukes av Fabric Data Factory.
2. Konverter midlertidig datatype automatisk etter behov for å samsvare med tilsvarende måltyper.
3. Konverter fra midlertidige datatyper til opprinnelige måldatatyper.

Kopieringsaktivitet i pipeliner og kopieringsjobb støtter for øyeblikket følgende midlertidige datatyper: Boolsk, Byte, Byte-matrise, Datetime, DatetimeOffset, Desimal, Dobbel, GUID, Int16, Int32, Int64, SByte, Enkelt, Streng, Tidsrom, UInt16, UInt32 og UInt64.

Følgende datatypekonverteringer støttes mellom de midlertidige typene fra kilde til mål.

(1) Dato/klokkeslett inkluderer DateTime, DateTimeOffset, Date og Time.

(2) Flyttallspunkt inkluderer enkelt og dobbelt.

(3) Heltall inkluderer SByte, Byte, Int16, UInt16, Int32, UInt32, Int64 og UInt64.

Hvis du vil lære de detaljerte datatypekonverteringene for en bestemt kobling, kan du gå til artikkelen om konfigurasjon av kopieringsaktivitet for denne koblingen herfra.

Observerbarhet

Se flere detaljer i Hvordan overvåke en kopijobb og arbeidsområdeovervåking for kopieringsjobb

Tilgjengelighet for regioner

Kopieringsjobben har samme regionale tilgjengelighet som Fabric.

Pricing

Du kan få detaljene i kopieringsjobben for priser.

Relatert innhold

• Inkrementell kopiering i kopijobb
• Slik oppretter du en kopieringsjobb
• Slik overvåker du en kopieringsjobb
• Revisjonskolonner i Copy job