Kopiere Daten von oder nach MongoDB mit Azure Data Factory oder Synapse Analytics

Gilt für: Azure Data Factory Azure Synapse Analytics

Dieser Artikel erklärt, wie man die Copy Activity in den Azure Data Factory- und Synapse Analytics-Pipelines verwendet, um Daten aus und in eine MongoDB-Datenbank zu kopieren. Er baut auf dem Artikel zur Übersicht über die Kopieraktivität auf, der eine allgemeine Übersicht über die Kopieraktivität enthält.

Unterstützte Funktionen

Dieser MongoDB-Anschluss unterstützt folgende Funktionen:

(1) Azure Integrationslaufzeit (2) Selbst gehostete Integrationslaufzeit

Eine Liste der Datenspeicher, die als Quellen und Sinks unterstützt werden, finden Sie in der Tabelle Unterstützte Datenspeicher .

Dieser MongoDB-Connector unterstützt insbesondere die Versionen bis 4.2. Wenn Ihre Arbeit eine höhere Version als 4.2 erfordert, sollten Sie MongoDB Atlas mit dem MongoDB Atlas-Connector verwenden, der umfassendere Unterstützung und Funktionen bietet.

Voraussetzungen

Wenn sich Ihr Datenspeicher in einem lokalen Netzwerk, einem Azure virtuellen Netzwerk oder amazon Virtual Private Cloud befindet, müssen Sie eine self-gehostete Integrationslaufzeit konfigurieren, um eine Verbindung damit herzustellen.

Wenn Ihr Datenspeicher ein verwalteter Clouddatendienst ist, können Sie die Azure Integration Runtime verwenden. Wenn der Zugriff auf IPs beschränkt ist, die in den Firewallregeln genehmigt wurden, können Sie der Zulassungsliste Azure Integration Runtime-IPs hinzufügen.

Sie können auch das Feature managed virtual network integration runtime in Azure Data Factory verwenden, um auf das lokale Netzwerk zuzugreifen, ohne eine selbst gehostete Integrationslaufzeit zu installieren und zu konfigurieren.

Weitere Informationen zu den von Data Factory unterstützten Netzwerksicherheitsmechanismen und -optionen finden Sie unter Datenzugriffsstrategien.

Erste Schritte

Zum Ausführen der Kopieraktivität mit einer Pipeline können Sie eines der folgenden Tools oder SDKs verwenden:

• Datenkopier-Werkzeug
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST-API
• Azure Resource Manager Vorlage

Erstellen Sie einen verknüpften Dienst zu MongoDB, indem Sie die Benutzeroberfläche verwenden

Führen Sie die folgenden Schritte aus, um einen verknüpften Dienst mit MongoDB in der benutzeroberfläche des Azure Portals zu erstellen.

1. Besuchen Sie den Reiter Verwalten in Ihrem Azure Data Factory oder Synapse Workspace und wählen Sie Linked Services. Wählen Sie dann Neu:

   • Azure Data Factory
   • Azure Synapse

   

2. Suchen Sie nach MongoDB, und wählen Sie den MongoDB-Connector aus.

   

3. Konfigurieren Sie die Dienstdetails, testen Sie die Verbindung, und erstellen Sie den neuen verknüpften Dienst.

   

Details zur Connectorkonfiguration

Die folgenden Abschnitte enthalten Details zu Eigenschaften, die zum Definieren von Data Factory-Entitäten speziell für den MongoDB-Connector verwendet werden:

Eigenschaften des verknüpften Diensts

Die folgende Tabelle listet die unterstützten Eigenschaften eines MongoDB-verknüpften Dienstes auf:

Sie können auch eine Verbindungszeichenfolge in Azure Key Vault platzieren. Weitere Details finden Sie unter Speicherzugangsdaten in Azure Key Vault. |Ja | | Datenbank | Name der Datenbank, auf die Sie Zugriff haben möchten. | Ja | | connectVia | Die Integration Runtime, die zur Verbindung mit dem Datenspeicher verwendet werden kann. Weitere Informationen finden Sie im Abschnitt Voraussetzungen. Wenn du diese Eigenschaft nicht spezifizierst, wird die Standard-Azure Integration Runtime verwendet. |Nein |

Beispiel:

{
    "name": "MongoDBLinkedService",
    "properties": {
        "type": "MongoDbV2",
        "typeProperties": {
            "connectionString": "mongodb://[username:password@]host[:port][/[database][?options]]",
            "database": "myDatabase"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Dataset-Eigenschaften

Eine vollständige Liste der Abschnitte und Eigenschaften, die Sie zur Definition von Datensätzen verwenden können, finden Sie unter Datasets und verknüpfte Dienste. Die folgende Tabelle listet die unterstützten Eigenschaften eines MongoDB-Datensatzes auf:

Beispiel:

{
    "name": "MongoDbDataset",
    "properties": {
        "type": "MongoDbV2Collection",
        "typeProperties": {
            "collectionName": "<Collection name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MongoDB linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Eigenschaften der Kopieraktivität

Eine vollständige Liste mit den Abschnitten und Eigenschaften zum Definieren von Aktivitäten finden Sie im Artikel Pipelines. Dieser Abschnitt enthält eine Liste der Eigenschaften, die von der MongoDB-Quelle und -Senke unterstützt werden.

MongoDB als Quelle

Der Quellbereich der Kopieraktivität unterstützt folgende Eigenschaften:

Beispiel:

"activities":[
    {
        "name": "CopyFromMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MongoDB input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MongoDbV2Source",
                "filter": "{datetimeData: {$gte: ISODate(\"2018-12-11T00:00:00.000Z\"),$lt: ISODate(\"2018-12-12T00:00:00.000Z\")}, _id: ObjectId(\"5acd7c3d0000000000000000\") }",
                "cursorMethods": {
                    "project": "{ _id : 1, name : 1, age: 1, datetimeData: 1 }",
                    "sort": "{ age : 1 }",
                    "skip": 3,
                    "limit": 3
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

MongoDB als Senke

Der Abschnitt Copy Activity-Sink unterstützt folgende Eigenschaften:

Beispiel

"activities":[
    {
        "name": "CopyToMongoDB",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Document DB output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "MongoDbV2Sink",
                "writeBehavior": "upsert"
            }
        }
    }
]

Importieren und Exportieren von JSON-Dokumenten

Nutzen Sie diesen MongoDB-Connector, um einfach:

• Dokumente zwischen zwei MongoDB-Sammlungen unverändert kopieren.
• Importieren Sie JSON-Dokumente aus verschiedenen Quellen in MongoDB, einschließlich aus Azure Cosmos DB, Azure Blob-Speicher, Azure Data Lake Store und anderen unterstützten dateibasierten Speicher.
• Exportieren von JSON-Dokumenten aus einer MongoDB-Sammlung in verschiedene dateibasierte Speicher.

Um eine solche vom Schema unabhängige Kopie zu erzielen, überspringen Sie den Abschnitt „structure“ (auch schema genannt) im Dataset und die Schemazuordnung in der Kopieraktivität.

Datentypzuordnung für MongoDB

Wenn Sie Daten aus MongoDB kopieren, verwendet der Dienst folgende Zuordnungen von MongoDB-Datentypen zu Zwischendatentypen. Für weitere Informationen darüber, wie Kopieraktivitäten das Quellschema und den Datentyp auf den Sink abbilden, siehe Schema- und Datentypabbildungen.

Connectorlebenszyklus und -upgrade für MongoDB

Die folgende Tabelle zeigt die Releasestufe und Änderungsprotokolle für verschiedene Versionen des MongoDB-Connectors:

• Liest auch als String-Datentyp. |

Upgrade des verknüpften MongoDB-Diensts

Erstellen Sie einen neuen verknüpften MongoDB-Dienst, und konfigurieren Sie ihn anhand der Informationen unter Eigenschaften des verknüpften Diensts.

Verwandte Inhalte

Eine Liste der Datenspeicher, die als Quellen und Senken für die Copy-Aktivität unterstützt werden, finden Sie in der Dokumentation zu unterstützten Datenspeichern.