Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Diese Seite beschreibt die Standardquoten für Zerobus Ingest in Lakeflow Connect sowie wie es mit deinen Delta-Tabellen, Schemata und Datentypen funktioniert.
Availability
Zerobus Ingest ist nur in einigen Regionen verfügbar. Eine Liste der unterstützten Regionen finden Sie unter Verfügbarkeit von Ingestion.
Alle verfügbaren Regionen bieten eine mehrzonale Dienstverfügbarkeit, mit Ausnahme von westus und northcentralus, die eine einzelne AZ-Verfügbarkeit bieten.
Latenz
Die Latenz spiegelt sowohl die Bestätigung der Haltbarkeit als auch die Zeit zum Materialisieren von Datensätzen in der Zieldelta-Tabelle wider. Die aktuellen Zeiten variieren je nach Regionsausrichtung und Arbeitsauslastungsmerkmalen.
- Zeit bis Haltbarkeit
- Ungefähr 150 ms
- Zeit bis zur Tabelle
- Ungefähr 5 Sekunden
Quoten
Die folgende Tabelle listet die Standardquoten für Zerobus Ingest auf.
| Artikel | Standardkontingent | Benötigen Sie mehr? |
|---|---|---|
| Durchsatz pro Strom (gRPC) | 100 MB/Sekunde (gemessen mit 1-KB-Nachrichten) | Einstellbar |
| Durchsatz pro Ziel-Tabelle (gRPC) | 10 GB/Sekunde | Einstellbar |
| Datensätze pro Sekunde pro Stream | 100.000 (gemessen mit 1-KB-Nachrichten) | Einstellbar |
| REST-Anfragen pro Sekunde | 10.000 | Einstellbar |
| Gleichzeitige Streams pro Arbeitsbereich | Unlimited | N/A |
Dies sind die Standarddurchsatzwerte, mit denen Zerobus Ingest ausgestattet ist, und sie lassen sich skalieren, um höheren Arbeitslasten gerecht zu werden. Um eines dieser Themen anzusprechen, wenden Sie sich an Ihren Ansprechpartner bei Databricks. Für maximalen Durchsatz halten Sie Ihre Client-App und den Endpunkt in derselben geografischen Region.
Du kannst so viele parallele Streams öffnen, wie dein Workload benötigt, und in so viele Zieltabellen schreiben. Mehr Streams zu öffnen ist die beabsichtigte Methode zur Skalierung, sodass die Anzahl der gleichzeitigen Streams unbegrenzt ist.
Die Kafka-kompatiblen APIs befinden sich in der Beta-Phase und haben eine Standardquote von 50.000 Nachrichten pro Sekunde und Arbeitsbereich. Um eine höhere Beta-Quote zu beantragen, wenden Sie sich an Ihren Databricks-Kontovertreter.
Garantien zur Zustellung
Zerobus Ingest bietet „Mindestens einmal”-Garantien.
Aufbewahrung gepufferter Daten
Wenn der Zerobus-Erfassungsdienst keine gepufferten Daten in Ihre Delta-Tabelle leeren kann, enthält er die Daten im vom Dienst verwalteten dauerhaften Speicher und gibt gelegentlich Warnungsereignisse pro Datenstrom aus.
Wenn die Daten 28 Tage lang nicht geleert werden, löscht der Dienst die gepufferten Daten und generiert ein Verwerfungsereignis pro Stream, in dem die Anzahl der verworfenen Datensätze und Bytes aufgezeichnet wird. Sie können die Daten nach dem Löschen nicht wiederherstellen.
Tabellenverhalten
Wie Zerobus Ingest mit deinen Delta-Tabellen funktioniert.
Partitionierte Tabellen
Beim Schreiben in partitionierte Tabellen unterstützt Zerobus Ingest das Schreiben in mehr als 100 Partitionen in einem 5-Sekunden-Intervall nicht. Um den optimalen Durchsatz zu erzielen, minimieren Sie die Anzahl der Partitionen in jedem 5-Sekunden-Intervall.
Databricks empfiehlt die Verwendung flüssig gruppierter Tabellen mit Zerobus Ingest anstelle der Partitionierung.
Arbeitsbereich und Zieltabelle
Die Datenerfassung funktioniert mit der folgenden Konfiguration von Arbeitsbereich und Zieltabelle.
- Zerobus Ingest unterstützt das Schreiben in verwaltete Delta-Tabellen.
- Zerobus Ingest unterstützt die Neuerstellung einer Zieltabelle nicht.
- Zerobus Ingest unterstützt nur Tabellennamen mit ASCII-Buchstaben, Ziffern und Unterzeichen.
- Sowohl der Arbeitsbereich als auch die Zieltabelle müssen sich in einer der verfügbaren Regionen befinden.
Flüssig geclusterte Tabellen (Beta)
Bei Verwendung von Zerobus Ingest mit flüssig geclusterten Tabellen wird empfohlen, die prädiktive Optimierung für die Zieltabelle aktiviert zu halten. Zerobus Ingest schreibt Daten in die Tabelle, aber das optimale Datenclustering wird asynchron vom Predictive Optimization Service angewendet. Das Deaktivieren der prädiktiven Optimierung kann zu einer suboptimalen Abfrageleistung für die erfassten Daten führen.
Schema und Datentypen
Datensatzgröße
Jede Nachricht hat eine maximale Größe von 10 MB. Die maximale Datensatzgröße beträgt 10.485.760 Bytes. Kopfzeilen, die für die Kommunikation erforderlich sind, benötigen 19 Bytes.
Wie Zerobus Ingest Datensätze gegen Ihr Tabellenschema validiert, einschließlich Schema-Entwicklung und der Protobuf-Schema-Regeln, siehe Schema-Management. Für die unterstützten Delta- und Protobuf-Datentypen siehe Unterstützte Datentypen.