Data flow graphs in Azure IoT Einsatz

Ein Datenflussgraph ist eine konfigurierbare Pipeline, die Daten verarbeitet, während sie sich durch Azure IoT Einsatz bewegen. Ein Standard-Datenfluss folgt einer festen Enrich-, Filter- und Map-Sequenz, aber ein Datenflussgraph erlaubt es, Transformationen in beliebiger Reihenfolge zu komponieren, in parallele Pfade zu verzweigen und Daten über Zeitfenster zu aggregieren.

Die benutzerdefinierte DataflowGraph Kubernetes-Ressource definiert einen Datenflussgraphen. Innerhalb der Ressource verbindest du Quellen, Transformationen und Ziele, um Verarbeitungspipelines zu erstellen, die zu deiner Situation passen.

Datenflüsse im Vergleich zu Datenflussdiagrammen

Azure IoT Einsatz bietet zwei Möglichkeiten zum Verarbeiten von Daten in einer Pipeline:

Für neue Projekte, die unterstützte Endpunkttypen verwenden, empfehlen wir Datenflussdiagramme. Datenflüsse werden für alle Szenarien vollständig unterstützt, und sie unterstützen die gesamte Bandbreite von Endpunkttypen.

Verfügbare Transformationen

Jede Transformation ist ein vorgefertigter Verarbeitungsschritt, den du mit Regeln konfigurierst und mit anderen Transformationen innerhalb einer DataflowGraph Ressource verkettest.

Alle Transformationen teilen eine Ausdruckssprache für Operatoren, Funktionen und Feldverweise. Sie können Nachrichten auch mit externen Daten aus einem Zustandsspeicher in Karten-, Filter- und Verzweigungstransformationen anreichern .

Wie Transformationen in einem Datenflussgraphen zusammengesetzt werden

Transformationen verbinden sich in Sequenz innerhalb einer DataflowGraph Ressource: Quelle > Transformation A > Transformation B > ... > Ziel.

Verzweigungstransformationen teilen den Fluss in parallele Pfade auf und Zusammenführungstransformationen fügen sie wieder zusammen.

Sie können eine beliebige Anzahl von Transformationen in beliebiger Reihenfolge verketten. Eine Pipeline mit einer einzigen Map-Transformation ist genauso gültig wie eine, die filtert, verzweigt, jeden Pfad unterschiedlich abbildet, zusammenführt und dann über ein Zeitfenster aggregiert.

Wie die Konfiguration von Datenflussdiagrammen funktioniert

Jede Transformation in einem Datenflussgraphen bezieht sich auf ein vorgefertigtes Artefakt, das aus einer Container-Registry stammt. Sie konfigurieren die Transformation, indem Sie Regeln als JSON über den configuration Abschnitt der Graph-Ressource übergeben.

Wenn Sie Azure IoT Einsatz bereitstellen, erstellt es automatisch einen Standard-Registry-Endpunkt namens default , der auf mcr.microsoft.comverweist. Die integrierten Transformationen verwenden diesen Endpunkt, um Artefakte aus der Microsoft Container-Registrierung abzurufen. Du brauchst keine zusätzliche Registry-Einrichtung.

Eine Datenflussgraph-Ressource definiert drei Arten von Elementen – eine Quelle, eine oder mehrere Transformationen (jeweils mit nodeType: Graph), und ein Ziel – und eine Menge davon nodeConnections , die beschreiben, wie Daten zwischen ihnen fließen. Jede Transformation configuration übergibt ihre Regeln als JSON-String unter dem rules Schlüssel.

Ein vollständiges, lauffähiges Beispiel, das Temperaturdaten liest, Celsius mit einer Map-Transformation in Fahrenheit umwandelt und das Ergebnis veröffentlicht – in der Operations-Erfahrung, Azure CLI, Bicep und Kubernetes – siehe Create a Data Flow Graph. In den folgenden Anleitungsartikeln konzentrieren sich Beispiele auf die Transformationsregeln selbst.

Schemata auf Knotenverbindungen konfigurieren

Datenflussgraphen behandeln Schemata anders als Datenflüsse. Anstatt das Schema für die Quelle oder Transformation festzulegen, konfigurieren Sie Schemas für die Knotenverbindungen zwischen Knoten im Diagramm. Verzweigungs- und Filtertransformationen können optional Laufzeitdaten gegen Schemata validieren, die an Knotenverbindungen angehängt sind.

Jeder Eintrag im nodeConnections Array kann auf der from Seite einer Verbindung ein schema A enthalten. Dieses Schema beschreibt das erwartete Format der Daten, die zwischen diesen beiden Knoten fließen:

nodeConnections: [
  {
    from: {
      name: 'source'
      schema: {
        schemaRef: 'aio-sr://my-namespace/sensor-data:1'
        serializationFormat: 'Json'
      }
    }
    to: {
      name: 'transform'
    }
  }
]

nodeConnections:
  - from:
      name: source
      schema:
        schemaRef: "aio-sr://my-namespace/sensor-data:1"
        serializationFormat: Json
    to:
      name: transform

Der Wert schemaRef verwendet das Format aio-sr://<namespace>/<name>:<version> und verweist auf ein Schema, das im Schema-Register gespeichert ist. Da Datenflussgraphen nur MQTT-, Kafka- und OpenTelemetrie-Endpunkte unterstützen, ist Jsondas unterstützte Serialisierungsformat .

Die folgende Tabelle fasst zusammen, wie sich die Schemakonfiguration zwischen Datenströmen und Datenflussgraphen unterscheidet:

Für Definitionen von Nachrichtenschemata, Formaten und wie man Schemata hochlädt, siehe Verstehen von Nachrichtenschemata.

Integrierte Transformationen im Vergleich zu WASM-Transformationen

Datenflussdiagramme unterstützen zwei Arten von Transformationen:

• Integrierte Transformationen sind von Microsoft vordefiniert (Zuordnung, Filter, Verzweigung, Verkettung, Fenster, Drosselung). Sie konfigurieren sie mit Regeln. Keine Codierung erforderlich.
• WASM-Transformationen sind benutzerdefinierte WebAssembly-Module, die Entwickler erstellen und bereitstellen. Verwenden Sie sie, wenn Sie Logik benötigen, die von den integrierten Transformationen nicht abgedeckt wird.

Beide Arten von Transformationen laufen innerhalb derselben DataflowGraph Ressource, und man kann sie in einer einzigen Pipeline mischen. Informationen zum Erstellen und Bereitstellen von benutzerdefinierten Transformationen finden Sie unter Verwenden von WASM-Transformationen in Datenflussdiagrammen.

Fehlerbehandlung in Datenflussgraphen

Wenn eine Transformation während der Verarbeitung einer Nachricht auf einen Fehler stößt (zum Beispiel ein fehlendes Feld oder ein ungültiger Ausdruck), lässt die Transformation die Nachricht fallen und meldet einen Fehler. Die Pipeline verarbeitet weiterhin nachfolgende Nachrichten.

Häufige Ursachen von Verarbeitungsfehlern:

• In der Nachricht ist kein Feld vorhanden, auf das in einer Regel inputs verwiesen wird.
• Ein Filter- oder Verzweigungsausdruck gibt einen nicht booleschen Wert zurück.
• Ein Ausdruck bezieht sich auf einen inkompatiblen Datentyp (zum Beispiel ein JSON-Objekt in der Arithmetik).
• Ein Zustandsspeicher, der für die Anreicherung verwendet wird, ist nicht erreichbar.

Um Verarbeitungsfehler zu überwachen, überprüfen Sie die Pod-Protokolle auf den Datenflussgraphen oder verwenden Sie die Metrik-Endpunkte. Weitere Informationen finden Sie unter Configure observability and monitoring.

Skalierungsbeschränkung für zustandsbehaftete Diagramme

Leistungsanleitung für Datenflussdiagramme

Jede Transformation in der Pipeline erhöht den Verarbeitungsaufwand. Beachten Sie die folgenden Richtlinien:

• Bevorzugen Sie weniger Transformationen mit mehr Regeln. Wenn Sie über viele Transformationsregeln verfügen, die mit derselben Struktur arbeiten, sollten Sie sie in einer einzelnen Map-Transformation zusammenfassen, anstatt separate Transformationen für jede Regel zu erstellen.
• Verwenden Sie mehrere Transformationen, wenn die Logik voneinander getrennt ist. Separate Transformationen sind sinnvoll, wenn unterschiedliche Verarbeitungsschritte grundsätzlich unterschiedlich sind (Filterung und Zuordnung im Vergleich zur Aggregierung).
• Halten Sie verwandte Regeln zusammen. Eine einzelne Transformation kann gleichzeitig Feldumbenennungen, Umstrukturierungen, berechnete Felder und Metadatentransformationen verarbeiten.

Verwandte Inhalte

• Datenflüsse im Vergleich zu Datenflussdiagrammen
• Erstellen eines Datenflussdiagramms
• Transformieren von Daten mit Karte
• Filtern und Weiterleiten von Daten
• Aggregieren von Daten im Laufe der Zeit
• Anreichern mit externen Daten
• Throttle-Daten
• Weiterleiten von Nachrichten an verschiedene Themen
• Ausdrucksreferenz
• Verwenden von WASM-Transformationen in Datenflussdiagrammen