Verwaltetes virtueller Netzwerk der Azure Data Factory

Gilt für: Azure Data Factory Azure Synapse Analytics

In diesem Artikel werden verwaltete virtuelle Netzwerke und verwaltete private Endpunkte in Azure Data Factory erläutert.

Verwaltetes virtuelles Netzwerk

Wenn Sie eine Azure Integrationslaufzeit in einem von Data Factory verwalteten virtuellen Netzwerk erstellen, wird die Integrationslaufzeit mit dem verwalteten virtuellen Netzwerk bereitgestellt. Sie verwendet private Endpunkte, um eine sichere Verbindung mit unterstützten Datenspeichern herzustellen.

Durch das Erstellen einer Integration Runtime in einem verwaltetem virtuellen Netzwerk wird sichergestellt, dass der Datenintegrationsprozess isoliert und sicher ist.

Vorteile der Verwendung eines verwalteten virtuellen Netzwerks:

• Mit einem verwalteten virtuellen Netzwerk können Sie die Verwaltung des virtuellen Netzwerks an Data Factory auslagern. Es ist nicht erforderlich, ein Subnetz für die Integration Runtime zu erstellen, das letztendlich viele private IP-Adressen Ihres virtuellen Netzwerks verwenden könnte, sodass eine vorherige Planung der Netzwerkinfrastruktur erforderlich wäre.
• Du brauchst kein tiefes Azure-Netzwerkwissen, um Datenintegrationen sicher durchzuführen. Stattdessen ist der Start mit Secure Extract, Transform, and Load (ETL) für Data Engineers viel einfacher.
• Mit einem verwalteten virtuellen Netzwerk und verwalteten privaten Endpunkten verfügen Sie über einen Schutz vor Datenexfiltration.

Die Data Factory unterstützt das verwaltete virtuelle Netzwerk nur in derselben Region wie die Data Factory.

Es gibt zwei Möglichkeiten, ein verwaltetes virtuelles Netzwerk in Data Factory zu aktivieren:

1. Aktivieren eines verwalteten virtuellen Netzwerks beim Erstellen von Data Factory

2. Aktivieren des verwalteten virtuellen Netzwerks in der Integrationslaufzeit

Verwaltete private Endpunkte

Verwaltete private Endpunkte sind private Endpunkte, die Sie im Data Factory verwalteten virtuellen Netzwerk erstellen und die eine private Verbindung zu Azure-Ressourcen herstellen. Data Factory verwaltet diese privaten Endpunkte für Sie.

Data Factory unterstützt private Verbindungen. Du kannst Azure Private Link verwenden, um auf Azure Platform as a Service (PaaS)-Dienste wie Azure Storage, Azure Cosmos DB und Azure Synapse Analytics zuzugreifen.

Wenn Sie eine private Verbindung verwenden, durchläuft der Datenverkehr zwischen Ihren Datenspeichern und dem verwalteten virtuellen Netzwerk vollständig über das Microsoft Backbone-Netzwerk. Eine private Verbindung schützt vor einer möglichen Datenexfiltration. Ein privater Link zu einer Ressource wird durch die Erstellung eines privaten Endpunkts eingerichtet.

Ein privater Endpunkt verwendet eine private IP-Adresse im verwalteten virtuellen Netzwerk, um den Dienst in sich zu übertragen. Private Endpunkte werden einer bestimmten Ressource in Azure und nicht dem gesamten Dienst zugeordnet. Sie können die Verbindung auf eine bestimmte Ressource beschränken, die Ihre Organisation genehmigt. Weitere Informationen finden Sie unter Private Verbindungen und private Endpunkte.

1. Stellen Sie sicher, dass Sie in Ihrer Data Factory ein verwaltetes virtuelles Netzwerk aktivieren.

2. Erstelle einen neuen verwalteten privaten Endpunkt im Manage Hub.

   

3. Wenn Sie in Data Factory einen verwalteten privaten Endpunkt erstellen, erstellen Sie eine private Endpunktverbindung im Pending State. Dieser Zustand initiiert einen Genehmigungsworkflow. Der Besitzer der Ressource für private Verbindungen ist für die Genehmigung oder Ablehnung der Verbindung verantwortlich.

   

4. Wenn der Besitzer die Verbindung genehmigt, wird der private Link eingerichtet. Ansonsten wird die private Verbindung nicht hergestellt. In beiden Fällen wird der verwaltete private Endpunkt mit dem Status der Verbindung aktualisiert.

   

Nur ein verwalteter privater Endpunkt im genehmigten Zustand kann Datenverkehr an eine angegebene Ressource für private Verbindungen senden.

Interaktive Erstellung

Interaktive Autorenfunktionen unterstützen Funktionen wie Testverbindung, Durchsuchen von Ordnerlisten und Tabellenlisten, Schema-Abruf und Vorschaudaten. Sie können interaktives Authoring aktivieren, wenn Sie eine Azure-Integrationslaufzeit in einem von Azure Data Factory verwalteten virtuellen Netzwerk erstellen oder bearbeiten. Der Backend-Dienst reserviert im Voraus Rechenkapazität für interaktive Authoring-Funktionen. Andernfalls werden bei jeder interaktiven Aktion Rechenressourcen bereitgestellt, was mehr Zeit in Anspruch nimmt. Die Time to Live (TTL) für interaktives Authoring beträgt standardmäßig 60 Minuten, was bedeutet, dass es automatisch 60 Minuten nach der letzten interaktiven Authoring-Operation deaktiviert wird. Du kannst den TTL-Wert je nach Bedarf anpassen.

Gültigkeitsdauer

Kopieraktivität

Standardmäßig startet jede Kopieraktivität eine neue Berechnung basierend auf der Konfiguration der Kopieraktivität. Mit aktiviertem verwaltetem virtuellen Netzwerk dauert der Start der Cold Compute nur wenige Minuten, und die Datenübertragung kann erst beginnen, wenn sie abgeschlossen ist. Wenn Ihre Pipelines mehrere aufeinanderfolgende Kopieraktivitäten enthalten oder Sie viele Kopieraktivitäten in einer Foreach-Schleife haben und nicht alle parallel ausführen können, können Sie einen Time-to-Live-Wert (TTL) in der Laufzeitkonfiguration der Azure-Integration aktivieren. Die Angabe eines TTL-Werts und der für die Kopieraktivität erforderlichen Datenintegrationseinheiten (DIU) hält die entsprechenden Berechnungen nach Abschluss der Ausführung noch eine gewisse Zeit am Leben. Wenn eine neue Kopieraktivität während der TTL-Zeit startet, wird die bestehenden Berechnungen wiederverwendet, und die Startzeit wird stark reduziert. Nachdem die zweite Kopieraktivität abgeschlossen ist, bleiben die Berechnungen für die TTL-Zeit wieder aktiv. Sie können aus den vordefinierten Rechengrößen wählen, die von klein über mittel bis groß reichen. Alternativ können Sie die Rechengröße basierend auf Ihren Anforderungen und Echtzeitanforderungen anpassen.

Data Factory verwendet die DIU, die du in TTL auswählst, um alle Kopieraktivitäten auszuführen. Die Größe der DIU wird nicht automatisch entsprechend dem tatsächlichen Bedarf skaliert, daher musst du genügend DIUs auswählen.

Pipeline und externe Aktivität

Ähnlich wie bei Copy kannst du die Rechengröße und TTL-Dauer nach deinen Anforderungen anpassen. Im Gegensatz zum Kopieren kannst du jedoch Pipeline und externes TTL nicht deaktivieren.

Verwenden Sie die folgende Tabelle als Referenz, um die optimale Anzahl von Knoten für den Betrieb sowohl von Pipelines als auch von externen Aktivitäten zu bestimmen.

Vergleich unterschiedlicher TTL

Die folgende Tabelle listet die Unterschiede zwischen den TTL-Typen auf:

Erstellen eines verwalteten virtuellen Netzwerks über Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Ausgehende Verbindung

Unterstützte Datenquellen und Dienste

Die folgenden Dienste verfügen über native Unterstützung für private Endpunkte. Sie können über eine private Verbindung mit einem von Data Factory verwalteten virtuellen Netzwerk verbunden werden.

• Azure Databricks
• Azure Functions (Premium-Plan)
• Azure Key Vault
• Azure Machine Learning
• Azure Private Link
• Microsoft Purview

Für die Unterstützung von Datenquellen können Sie sich auf die Connector-Übersicht beziehen. Sie können über das öffentliche Netzwerk auf alle Datenquellen zugreifen, die von Data Factory unterstützt werden.

Lokale Datenquellen

Informationen zum Zugreifen auf lokale Datenquellen aus einem verwalteten virtuellen Netzwerk mithilfe eines privaten Endpunkts finden Sie unter Zugriff auf lokale SQL Server über ein von einer Data Factory verwaltetes virtuelles Netzwerk mithilfe eines privaten Endpunkts.

Ausgehende Kommunikation über einen öffentlichen Endpunkt von einem verwaltetem virtuellen Data Factory-Netzwerk

Alle Ports sind für die ausgehende Kommunikation geöffnet.

Einschränkungen und bekannte Probleme

Erstellung von verknüpften Diensten für Key Vault

Wenn Sie einen verknüpften Dienst für Key Vault erstellen, gibt es keine Integrationslaufzeitreferenz. Sie können also während der Erstellung des verknüpften Dienstes „Key Vault“ keine privaten Endpunkte erstellen. Wenn Sie jedoch einen verknüpften Dienst für Datenspeicher erstellen, die auf Key Vault verweisen, und dieser verknüpfte Dienst verweist auf eine Integrationslaufzeit mit aktiviertem verwaltetem virtuellen Netzwerk, können Sie während der Erstellung einen privaten Endpunkt für Key Vault erstellen.

• Test connection: Dieser Vorgang für einen verknüpften Dienst von Key Vault überprüft nur das URL-Format, jedoch keinen Netzwerkvorgang.
• Verwenden eines privaten Endpunkts: Diese Spalte wird immer als leer angezeigt, auch wenn Sie einen privaten Endpunkt für Key Vault erstellen.

Verknüpfte Diensterstellung von Azure HDInsight

Die Spalte Privaten Endpunkt verwenden wird immer als leer angezeigt, selbst wenn Sie einen privaten Endpunkt für HDInsight mithilfe eines Private Link-Diensts und Lastenausgleichs mit Portweiterleitung erstellen.

Vollständig qualifizierter Domainname (FQDN) von Azure HDInsight

Wenn du einen benutzerdefinierten privaten Linkdienst erstellt hast, sollte der FQDN mit azurehdinsight.net ohne führenden privatelink im Domainnamen enden, wenn du einen privaten Endpunkt erstellst. Wenn du Privatelink im Domainnamen verwendest, stelle sicher, dass es gültig ist und du es lösen kannst.

Zugriffseinschränkungen im verwalteten virtuellen Netzwerk mit privaten Endpunkten

Du kannst nicht auf jede PaaS-Ressource zugreifen, wenn beide Seiten mit einer privaten Verbindung und einem privaten Endpunkt verbunden sind. Dieses Problem ist eine bekannte Einschränkung von privaten Verbindungen und privaten Endpunkten.

Sie verfügen beispielsweise über einen verwalteten privaten Endpunkt für Speicherkonto A. Sie können auch über das öffentliche Netzwerk im gleichen verwalteten virtuellen Netzwerk auf Speicherkonto B zugreifen. Wenn Speicherkonto B jedoch über eine private Endpunktverbindung aus einem anderen verwalteten virtuellen Netzwerk oder einem virtuellen Kundennetzwerk verfügt, können Sie nicht über ein öffentliches Netzwerk auf Speicherkonto B in Ihrem verwalteten virtuellen Netzwerk zugreifen.

Zugehöriger Inhalt

Sehen Sie sich die folgenden Tutorials an:

• Erstellen einer Kopierpipeline mithilfe eines verwalteten virtuellen Netzwerks und privater Endpunkte
• Erstellen Sie eine Mapping-Datenfluss-Pipeline mithilfe eines verwalteten virtuellen Netzwerks und privater Endpunkte