Delta-ændringsdatafeed i spejling for Fabric

Delta change data feed (CDF) opfanger indsættelser, opdateringer og sletninger og anvender dem derefter på Delta Lake-tabeller i OneLake. Dette flow understøtter næsten realtidsanalyse uden fulde genindlæsninger eller tunge ETL-pipelines.

• Behandler løbende inkrementelle ændringer (delta-baserede).
• Bruger kun ændringsbehandling.
• Understøtter nedstrøms inkrementel behandling.
• Er tilgængelig for alle spejlingskilder, inklusive åbne spejlingspartnere.

Forudsætninger

• En Microsoft Fabric-kapacitet (F2 eller højere) eller Fabric-prøve.
• En spejlet database i et Fabric-arbejdsområde.
• En Fabric Lakehouse findes i samme eller et andet arbejdsområde (til forespørgsler på CDF-data)

Aktivér delta-ændringsdatafeed i Fabric-portalen

Aktivér delta-ændringsdatafeed for hver spejlet database.

1. For enhver spejlet kilde, vælg tandhjulsikonet for at åbne konfigurationsdashboardet.
2. Under Delta-tabelstyring skal du markere afkrydsningsboksen for at aktivere delta-ændringsdatafeed.

Aktivér delta-ændringsdatafeed ved hjælp af API'er

For at aktivere delta-ændringsdatafeed ved brug af API'er, se Aktiver deltaændringsdatafeed for en spejlet database.

Aktivér delta-ændringsdatafeed for eksisterende tabeller

Hvis du oprettede din spejlede database før CDF blev tilgængelig, kan du aktivere CDF ved at bruge Fabric REST API'en. Processen henter den aktuelle definition, tilføjer CDF-egenskaben og opdaterer definitionen.

1. Hent definitionen af den spejlede database:

   POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/mirroredDatabases/{mirroredDatabaseId}/getDefinition
   

2. Dekode nyttelasten mirroring.json ud fra responsen. Nyttelasten er Base64-kodet.

3. Tilføj "enableDeltaChangeDataFeed": true til sektionen target.typeProperties :

   {
     "properties": {
       "source": { ... },
       "target": {
         "type": "MountedRelationalDatabase",
         "typeProperties": {
           "defaultSchema": "dbo",
           "format": "Delta",
           "enableDeltaChangeDataFeed": true,
           "retentionInDays": 1
         }
       }
     }
   }
   

4. Gen-kod den opdaterede JSON til Base64, og opdater derefter definitionen:

   POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/mirroredDatabases/{mirroredDatabaseId}/updateDefinition
   

Efter du har opdateret definitionen, hent den igen og bekræft, at det enableDeltaChangeDataFeed er true.

Forespørgselsændringsdata

1. Opret en genvej til Lakehouse:

   1. I dit Fabric-arbejdsområde kan du åbne eller skabe et Lakehouse.
   2. I Lakehouse Explorer skal du vælge Ny genvej.
   3. Vælg Microsoft OneLake som kilde.
   4. Gå til den spejlede database og vælg den tabel, du vil forespørge.
   5. Vælg Opret for at færdiggøre genvejen.

2. Åbn en Fabric-notesbog, der er vedhæftet til dit Lakehouse, og brug en af følgende muligheder til at forespørge ændringsdata:

   • Mulighed A: Læs ændringer ud fra en specifik version
   • Mulighed B: Læs ændringer inden for et tidsstempelinterval
   • Mulighed C: Brug SQL-syntaks

Mulighed A: Læs ændringer ud fra en specifik version

Brug muligheden readChangeFeed for startingVersion at læse alle CDF-ændringer fra en specifik Delta-tabel version fremad. Erstat <lakehouse_name> og <table_name> med dine Lakehouse- og bordnavne.

df = spark.read.format("delta") \
    .option("readChangeFeed", "true") \
    .option("startingVersion", 0) \
    .table("<lakehouse_name>.<table_name>")

df.show()

Mulighed B: Læs ændringer inden for et tidsstempelinterval

Brug muligheden readChangeFeed med startingTimestamp og endingTimestamp til at læse CDF-ændringer inden for et bestemt tidsvindue.

df = spark.read.format("delta") \
    .option("readChangeFeed", "true") \
    .option("startingTimestamp", "2025-01-01T00:00:00Z") \
    .option("endingTimestamp", "2025-01-02T00:00:00Z") \
    .table("<lakehouse_name>.<table_name>")

df.show()

Mulighed C: Brug SQL-syntaks

Brug SQL-funktionen table_changes() til at forespørge CDF-data. Denne tilgang fungerer i enhver Spark SQL-kontekst.

df = spark.sql("""
    SELECT * FROM table_changes('<lakehouse_name>.<table_name>', 0)
""")

df.show()

Nedstrøms forbrugsmuligheder

Delta-ændringsdatafeed understøtter flere nedstrøms forbrugsveje:

Prissætning

Vigtige prispræciseringer:

• Faktureringen er brugsbaseret. Du bliver kun faktureret for den inkrementelle beregning, der bruges, når CDF behandler reelle ændringer. Der er ingen gebyrer for inaktiv tid eller tomme kørsler (perioder hvor der ikke sker ændringer i kildedata).
• Kerne-spejling forbliver gratis. At aktivere CDF ændrer ikke prisen på kerne-spejling. Kontinuerlig replikering, Delta Lake-konvertering, OneLake-integration og SQL-analyse-endpoints forbliver gratis.
• Opbevaring til spejling er gratis. Lagring til spejlede data i OneLake faktureres ikke separat. Dog øger aktivering af CDF lagerforbruget på grund af ekstra _change_data filer.
• CDF er et tillæg, ikke en erstatning. CDF-fakturering er kun for udvidet kapacitetsberegning. Den opkræver ikke bagudrettet for kerne-spejling.
• Du kan kontrollere omkostningerne ved selektivt at aktivere CDF. CDF er aktiveret på spejldatabaseniveau. Aktivér kun CDF på de spejlede databaser, der kræver inkrementel behandling, og lad andre blive på kerne-spejling.

For den fulde prismodel, målingsdetaljer og faktureringsomfang, se Billing for udvidede muligheder i spejling.

Relateret indhold

• Udvidede muligheder i spejling for Fabric
• Spejling af synspunkter i Fabric
• Fakturering for udvidede funktioner i spejling
• Microsoft Fabric spejler offentlig REST API