Opret forbindelse til Delta-tabeller i Azure Data Lake Storage

Opret forbindelse til data i Delta-tabeller, og hent dem til Dynamics 365 Customer Insights - Data.

De vigtigste årsager til at oprette forbindelse til data, der er lagret i Delta-format:

• Importér Delta-formaterede data direkte for at spare tid og kræfter.
• Eliminer de beregnings- og lageromkostninger, der er forbundet med transformation og lagring af en kopi af dine lakehouse-data.
• Øg automatisk pålideligheden af dataindtagelse for Customer Insights - Data, der leveres af Delta-versionsstyring.

Understøttede Databricks-funktioner og -versioner

Customer Insights - Data understøtter Delta-tabeller med a minReaderVersion på 3 eller tidligere, afhængigt af listen over understøttede funktioner. Tabeller, der bruger ikke-understøttede læserfunktioner, understøttes ikke. Hvis datakildeforbindelsen forsøger at læse en tabel med en funktion, der ikke understøttes, vises følgende fejl: "Delta-tabeller (A, B, C, D) kan ikke læses. Der blev fundet ikke-understøttede Delta-læserversioner (X, Y, Y, X).

Alle funktioner, der kræver 1 minReaderVersion eller 2, understøttes.

Følgende tabel viser de understøttede og ikke-understøttede Databricks-funktioner, der kræver en minReaderVersion på 3.

Læs mere: Hvordan håndterer Databricks Delta Lake-funktionskompatibilitet?

Forudsætninger

• Azure Data Lake Storage skal være i samme lejer og Azure-område som Customer Insights - Data.

• Hvis du vil oprette forbindelse til lager, der er beskyttet af firewalls, skal du konfigurere private Azure-links.

• Servicebrugeren for Customer Insights - Data skal have rettighederne Storage Blob Data Contributor for at få adgang til lagerkontoen. Du kan finde flere oplysninger i Tildele tilladelser til tjenesteprincipalen til at få adgang til lagerkontoen.

• Den bruger, der konfigurerer eller opdaterer den datakilde, skal som minimum have Storage Blob Data-læsetilladelse for kontoen Azure Data Lake Storage.

• Data, der lagres i onlinetjenester, kan gemmes på en anden placering end det sted, hvor dataene behandles eller lagres i. Ved at importere eller oprette forbindelse til data, der er gemt i onlinetjenester, accepterer du, at data kan overføres.  Få mere at vide i Microsoft Sikkerhedscenter.

• Customer Insights - Data understøtter Delta-tabeller med a minReaderVersion på 3 eller tidligere, underlagt den angivne funktionsunderstøttelse. Få mere at vide: Understøttede Databricks-funktioner.

• Delta-tabellerne skal være i en mappe i lagerbeholderen og må ikke være i rodmappen i beholderen.

• Delta-tabellerne kan ikke være i indlejrede mapper.

• Hver Delta-tabel kan være i sin egen mappe i rodmappen for Delta-tabellen. Det kan f.eks. være:

  storageaccountcontainer/
      DeltaDataRoot/
         ADeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
         BDeltaTable/
               _delta_log/
                   0000.json
                   0001.json
               part-0001-snappy.parquet
               part-0002-snappy.parquet
  

• Customer Insights – Data er afhængig af versionsegenskaben i Delta-tabellens historik for at identificere de seneste ændringer til trinvis behandling.

Opret forbindelse til Delta-data fra Azure Data Lake Storage

Navne på dataforbindelser, datastier, f.eks. mapper i en objektbeholder, og tabelnavne skal indeholde navne, der begynder med et bogstav. Navne må kun indeholde bogstaver, tal og understregningstegn (_). Specialtegn understøttes ikke.

1. Gå til Data>Datakilder.

2. Vælg Tilføj en datakilde.

3. Vælg Azure Data Lake Delta-tabeller.

   

4. Angiv et Datakildenavn og en valgfri Beskrivelse. Downstream-processer refererer til navnet, og du kan ikke ændre det efter at have oprettet datakilden.

5. Vælg en af følgende muligheder for at oprette forbindelse til lagerpladsen ved hjælp af.

   • Azure-abonnement: Vælg abonnementet, og vælg derefter ressourcegruppen og lagerkontoen.
   • Azure-ressource: Angiv Ressource-id.

6. Vælg navnet på den container, der indeholder mappen med dine data.

7. Hvis du vil hente data fra en lagerkonto via en Azure Private Link, kan du vælge Enable Private Link. Du kan finde flere oplysninger under private links.

8. Naviger til den mappe, der indeholder dataene i Delta-tabellerne, og vælg den. Vælg derefter Næste. En liste over tilgængelige tabeller vises.

9. Vælg de tabeller, du vil medtage.

10. I forbindelse med valgte tabeller, hvor der ikke er defineret en primær nøgle, vises Obligatorisk under Primær nøgle. For hver af disse tabeller:

    1. Vælg Obligatorisk. Panelet Rediger tabel vises.
    2. Vælg den primære nøgle. Den primære nøgle er en attribut, der er entydig for tabellen. Hvis en attribut skal være en gyldig primær nøgle, må den ikke indeholde dubletværdier, manglende værdier eller null-værdier. Strengattributter, heltalsattributter og GUID-datatypeattributter understøttes som primære nøgler.
    3. Vælg Luk for at gemme og lukke panelet.

    

11. Hvis du vil aktivere dataprofilering for en af kolonnerne, skal du vælge antallet af kolonner for tabellen. Siden Administrer attributter vises.

    

    1. Vælg Dataprofilering for hele tabellen eller for bestemte kolonner. Som standard er ingen tabel aktiveret for dataprofilering.
    2. Vælg Udført.

12. Vælg Gem. Siden Datakilder åbnes, der viser de nye datakilde status for Opdatering.

    Tips

    Vælg en status for at åbne panelet Fremskridtsdetaljer , hvor du kan se opgavefremskridt, eller vælg Annuller opgaven for at stoppe opgaven.

Det kan tage tid at indlæse data. Når en opdatering er fuldført, kan du gennemse de data, der er indtaget, fra siden Tabeller .

Når du har gemt datakilden, kan du ikke gå tilbage og tilføje flere tabeller. Hvis du vil tilføje andre tabeller, skal du oprette en anden datakilde for at hente tabellerne ind i Customer Insights - Data.

Styre skemaændringer

Hvis du tilføjer eller fjerner en kolonne fra skemaet for en Delta-mappe datakilde, kører systemet en komplet opdatering af dataene. Det tager længere tid at behandle en fuldstændig opdatering af alle data end med en trinvis opdatering.

Hvis du ændrer skemaet for kildedataene efter at have oprettet datakildeforbindelsen, opstår der en skema-mismatch eller data-mismatch-fejl, der beder dig opdatere datakildeforbindelsen. Fejlen "Kolonnerne i kildedataene er ændret" vises i opgavedetaljerne. Skemaændringer omfatter opdateringer af kolonner, kolonnenavne og kolonnedatatyper.

Opdater en datakilde, når skemaet ændres

1. Gå til Data>Datakilder. Vælg Rediger ud for datakilden med fejlene. Vælg derefter Næste.

2. Vælg den tabel, der indeholder fejl.

   

3. Vælg Opret automatisk attributterne, og bekræft.

4. Når oprettelsen af attributten er fuldført, skal du vælge Udført.

5. Vælg Medtag i tabellen, og vælg derefter Gem for at anvende dine ændringer og vende tilbage til siden Datakilder .

Tilføj en kolonne til samling

Når du tilføjer en kolonne til datakilden, tilføjes informationen automatisk til dataene i Customer Insights - Data, når en opdatering sker. Hvis unifikation allerede er konfigureret for tabellen, skal du tilføje den nye kolonne til unifikationsprocessen.

1. Fra trinnet Kundedata skal du markere Vælg tabeller og kolonner og vælge den nye kolonne.

2. I trinnet Samlet datavisning skal du sørge for, at kolonnen ikke er udelukket fra kundeprofilen. Vælg Udelukket, og læst kolonnen.

3. I trinnet Kør opdateringer til samlet profil skal du vælge Foren kundeprofiler og afhængigheder.

Ændre eller fjerne en kolonne

Når du fjerner en kolonne fra en datakilde, tjekker systemet for afhængigheder i andre processer. Hvis der er en afhængighed af kolonnerne, stopper systemet opdateringen og giver en fejlmeddelelse, der indikerer, at du skal fjerne afhængigheder. Disse afhængigheder vises i en meddelelse for at hjælpe dig med at finde og fjerne dem.

Validere en skemaændring

Når datakilden er opdateret, skal du gå til Data>Tabeller-siden. Vælg tabellen for datakilden, og bekræft skemaet.

Delta-søens tidsrejse og dataopdateringer

Delta Lake tidsrejse er muligheden for at forespørge gennem tabelversioner baseret på et tidsstempel eller versionsnummer. Ændringer i Delta-mapper er versionerede, og Customer Insights - Data bruger Delta-mappeversionerne til at holde styr på, hvilke data der skal behandles. I en almindelig deltatabelopdatering trækkes data fra alle datatabelversionerne siden sidste opdatering. Så længe alle versioner er til stede, kan Customer Insights - Data behandle netop de ændrede elementer og levere hurtigere resultater. Få mere at vide om tidsrejse.

Hvis Customer Insights – Data f.eks. sidst er synkroniseret med version 23 af dine Delta-mappedata, forventer den at finde version 23 og muligvis efterfølgende versioner tilgængelige. Hvis de forventede dataversioner ikke er tilgængelige, mislykkes datasynkronisering og kræver en manuel fuld dataopdatering. Datasynkronisering kan mislykkes, hvis dine Delta-mappedata er slettet og derefter genskabt. Eller hvis Customer Insights - Data ikke kunne oprette forbindelse til dine Delta-mapper i en længere periode, mens versionerne skred frem.

For at undgå behovet for en fuld dataopdatering, bør du opretholde en rimelig historik-backlog, for eksempel 15 dage.

Køre en fuld dataopdatering manuelt på en Delta-tabelmappe

En fuldstændig opdatering tager alle dataene fra en tabel i Delta-format og genindlæser dem fra Delta-tabellens version nul (0). Ændringer i Delta-mappeskemaet udløser en automatisk fuld opdatering. Udfør følgende trin for at udløse en fuld opdatering manuelt.

1. Gå til Data>Datakilder.

2. Vælg datakilden Azure Data Lake Delta-tabeller.

3. Vælg den tabel, du vil opdatere. Panelet Rediger tabel vises.

   

4. Vælg Kør fuld opdatering én gang.

5. Vælg Gem for at køre opdateringen. Siden Datakilder åbnes og viser den nye datakilde i status Opdatering, men kun den valgte tabel opdateres.

6. Gentag processen for andre tabeller, hvis relevant.

Datasynkroniseringsfejl

Datasynkronisering kan mislykkes, hvis dine Delta-mappedata er slettet og derefter genskabt. Eller hvis Customer Insights - Data ikke kunne oprette forbindelse til dine Delta-mapper i en længere periode, mens versionerne skred frem. For at minimere påvirkningen, hvor en intermittent datapipeline-fejl skaber behov for en fuld opdatering, skal du opretholde en rimelig historik-backlog.

Funktionsmåde for upsert (trinvis opdatering)

Customer Insights – Data understøtter trinvise dataopdateringer via Delta Lake-tidsrejser. Sådan fungerer upserts korrekt:

• Dataene skal være i Delta-format (ikke CSV- eller Parquet).
• Delta-tabellen skal vedligeholde en versionshistorik (mindst 15 dage anbefales).
• Hver upsert skal oprette en ny Delta-version—overskrivning af filer, der er på stedet, udløser en fuld opdatering i stedet for en inkrementel opdatering.
• Kolonnen med den primære nøgle skal være til stede og konsistent på tværs af versioner.

Almindelige problemer:

• Hvis du overskriver Delta-filer i stedet for at tilføje versioner, behandler Customer Insights - Data dette som en skemaændring og kører en fuld opdatering.
• Hvis Delta-versioner mangler (for eksempel på grund af oprydning eller VACUUM), kør en engangs fuld opdatering fra datakildeindstillingerne.

Næste trin

• Oversigt over datasamling