Erstellen und Verwalten von Jupyter Notebook-Aufträgen

Sie können geplante Aufträge erstellen, die zu bestimmten Zeiten oder Intervallen ausgeführt werden, indem Sie die Microsoft Sentinel-Erweiterung für Visual Studio Code verwenden. Mit Aufträgen können Sie Datenverarbeitungsaufgaben automatisieren, um Daten im Microsoft Sentinel Data Lake und Verbundtabellen zusammenzufassen, zu transformieren oder zu analysieren. Aufträge werden auch verwendet, um Daten zu verarbeiten und Ergebnisse in benutzerdefinierte Tabellen auf der Lake-Ebene oder Analytics-Ebene zu schreiben.

Die folgenden Abschnitte erklären, wie man Notebook-Jobs erstellt, plant, bearbeitet und verwaltet, einschließlich der Konfiguration von Job-Zeitplänen, der Anzeige von Job-Details und der Laufzeithistorie sowie der Überwachung von Jobs im Microsoft Defender-Portal.

Erforderliche Berechtigungen für Notebook-Jobs

Microsoft Entra ID Rollen bieten umfassenden Zugriff auf alle Arbeitsbereiche im Data Lake. Um Aufträge zu erstellen und zu planen, Tabellen in allen Arbeitsbereichen zu lesen und in die Analyse- und Lake-Ebene schreiben zu können, müssen Sie über eine der unterstützten Microsoft Entra ID Rollen verfügen. Weitere Informationen zu Rollen und Berechtigungen finden Sie unter Rollen und Berechtigungen in Microsoft Sentinel.

Um neue benutzerdefinierte Tabellen auf der Analyseebene zu erstellen, muss der verwalteten Data Lake-Identität die Rolle Log Analytics-Mitwirkender im Log Analytics-Arbeitsbereich zugewiesen werden.

Führen Sie die folgenden Schritte aus, um die Rolle zuzuweisen:

  1. Navigieren Sie im Azure-Portal zu dem Log Analytics-Arbeitsbereich, dem Sie die Rolle zuweisen möchten.
  2. Wählen Sie im linken Navigationsbereich Zugriffssteuerung (IAM) aus.
  3. Wählen Sie Rollenzuweisung hinzufügen aus.
  4. Wählen Sie in der Tabelle Rolle die Option Log Analytics-Mitwirkender und dann Weiter aus.
  5. Wählen Sie Verwaltete Identität und dann Mitglieder auswählen aus.
  6. Ihre verwaltete Data Lake-Identität ist eine systemseitig zugewiesene verwaltete Identität namens msg-resources-<guid>. Wählen Sie die verwaltete Identität und dann Auswählen aus.
  7. Wählen Sie Überprüfen und zuweisen aus.

Weitere Informationen zum Zuweisen von Rollen zu verwalteten Identitäten finden Sie unter Zuweisen von Azure Rollen mithilfe des Azure-Portal.

Erstellen und Planen eines Auftrags

Bevor du einen Job erstellst oder planst, stelle sicher, dass du eine der unterstützten Microsoft Entra ID-Rollen hast. Wenn der Job benutzerdefinierte Tabellen in der Analytics-Ebene erstellt, weist der Data Lake Managed Identity zuerst die Rolle Log Analytics Contributor zu. Weitere Informationen finden Sie unter Erforderliche Berechtigungen für Notebook-Jobs.

Sie können einen Auftrag auf eine von drei Arten erstellen:

  1. Wählen Sie im Notebook-Editor auf der Symbolleiste Zeitplanauftrag erstellen aus.

  2. Klicken Sie im bereich Explorer mit der rechten Maustaste auf die Notebookdatei, wählen Sie Microsoft Sentinel und dann Zeitplanauftrag erstellen aus.

    Screenshot: Erstellen eines neuen Auftrags in Visual Studio Code

  3. Wählen Sie in der Liste der Aufträge das + Symbol aus, um einen neuen Auftrag zu erstellen.

    Screenshot: Erstellen eines neuen Auftrags aus der Auftragsliste in Visual Studio Code

  4. Wählen Sie Vorhandenes Notebook verwenden aus, um eine vorhandene Notebookdatei auszuwählen, oder wählen Sie Neues Notizbuch erstellen aus, um eine neue Notebookdatei für den Auftrag zu erstellen.

    Ein Screenshot, der zeigt, wie ein vorhandenes Notebook für die Aufgabe ausgewählt wird.

  5. Geben Sie auf der Seite Auftragskonfiguration im Abschnitt Auftragsdetails einen Namen und eine Beschreibung für den Auftrag ein.

  6. Wählen Sie die Spark-Pool-Größe aus, um den Auftrag entsprechend den Rechenanforderungen Ihres Auftrags auszuführen.

  7. Wenn Sie einen Auftrag manuell ohne Zeitplan ausführen möchten, wählen Sie im Abschnitt Zeitplan die Option Bei Bedarf und dann Übermitteln aus, um die Auftragskonfiguration zu speichern und den Auftrag zu veröffentlichen.

  8. Wählen Sie im Abschnitt Zeitplan die Option Geplant aus, um einen Zeitplan für den Auftrag anzugeben.

    1. Wählen Sie eine Wiederholungshäufigkeit für den Auftrag aus. Sie können zwischen Minuten, Stündlich, Wöchentlich, Täglich oder Monatlich wählen.

    2. Je nach ausgewählter Häufigkeit werden zusätzliche Zeitplanoptionen angezeigt, z. B. Wochentag, Tageszeit oder Tag des Monats.

    3. Wählen Sie einen Startzeitpunkt für die Ausführung des Zeitplans aus.

    4. Wählen Sie einen Endzeitpunkt aus, damit der Zeitplan nicht mehr ausgeführt wird. Wenn Sie keine Endzeit für den Zeitplan festlegen möchten, wählen Sie Auftrag auf unbestimmte Ausführung festlegen aus. Datums- und Uhrzeitangaben befinden sich in der Zeitzone des Benutzers.

    5. Wählen Sie Senden aus, um die Auftragskonfiguration zu speichern und den Auftrag zu veröffentlichen.

    Screenshot der Auftragskonfigurationsseite.

  9. Um Ihre Jobs anzuzeigen, wählen Sie den Microsoft Sentinel Screenshot des Microsoft Sentinel-Symbols in der VS Code-Aktivitätsleiste aus, das zum Öffnen der Microsoft Sentinel-Erweiterung verwendet wird. Symbol in der linken Werkzeugleiste. Aufträge werden im Bereich Aufträge angezeigt.

  10. Wählen Sie einen Auftrag aus, um die Auftragsdetails anzuzeigen.

  11. Sie können den Job sofort ausführen, indem Sie Jetzt ausführen auswählen, den Zeitplan des Jobs deaktivieren oder aktivieren oder den Job löschen.

    Screenshot der Seite mit den Auftragsdetails.

  12. Sehen Sie den Jobverlauf auf der Registerkarte Ausführungsverlauf ein.

    Ein Screenshot, der die Seite mit den Auftragsausführungen zeigt.

  13. Wählen Sie eine Aktivität aus, um weitere Details anzuzeigen.

    Screenshot: Seite mit Details zur Auftragsausführung

Erstellen und Verwalten parametrisierter Notizbuchaufträge

Notizbuchaufträge können parameter verwenden, die im Notizbuch definiert sind. Mithilfe von Parametern können Sie denselben Notizbuchauftrag mit unterschiedlichen Eingabewerten wiederverwenden, ohne den Notizbuchcode jedes Mal zu bearbeiten. Beispielsweise können Sie dieselbe Analyse für unterschiedliche Benutzer, Entitäten, Zeitbereiche oder andere Untersuchungseingaben ausführen.

Parametrisierte Notizbuchaufträge unterstützen drei Werteebenen:

  • Notizbuchwerte: Im Notizbuch definierte Standardwerte.
  • Auftragskonfigurationswerte: Werte, die mit dem Notizbuchauftrag gespeichert und für geplante Ausführungen verwendet werden.
  • Laufzeitwerte: Werte, die angegeben werden, wenn Sie den Auftrag manuell ausführen. Laufzeitwerte gelten nur für diesen Auftragslauf.

Erstellen eines parametrisierten Notebook-Auftrags

Wenn Sie einen Notizbuchauftrag aus einem Notizbuch erstellen, das Parameter enthält, liest die Microsoft Sentinel Erweiterung die Parameter aus dem Notizbuch und zeigt sie in der Auftragskonfiguration an.

So erstellen Sie einen parametrisierten Notebook-Job:

  1. Erstellen Sie im Notizbuch eine Codezelle am oberen Rand des Notizbuchs, die die Parameterstandardwerte enthält. Öffnen Sie das Zellmenü, und wählen Sie "Zelle als Parameter markieren" aus.

    Screenshot von Visual Studio Code mit dem Menüeintrag „Zelle als Parameter markieren“ für eine Notebookzelle.

  2. Definieren Sie die Parameter in der Zelle. Beispiel:

    # Parameters
lookback_days = [7, 14, 30, 90]
min_failed_attempts = [5, 10, 20]

  3. Klicken Sie im Explorer-Bereich mit der rechten Maustaste auf die Notizbuchdatei, wählen Sie Microsoft Sentinel aus, und wählen Sie dann "Geplanten Auftrag erstellen" aus.

    Screenshot von Visual Studio Code, der das Microsoft Sentinel-Menü mit der Auswahl „Geplanten Auftrag erstellen“ zeigt.

  4. Erweitern Sie im Auftrags-Editor Standardparameter, und wählen Sie dann "Aktualisierungsparameter" aus, um die neuesten Parameterdefinitionen aus dem Notizbuch zu laden.

    Screenshot des Editors für geplante Notebook-Aufträge, der die Schaltfläche „Parameter aktualisieren“ unter „Standardparameter“ zeigt.

  5. Überprüfen oder aktualisieren Sie die Standardparameterwerte, und übermitteln Sie dann den Auftrag.

Sie können die Standardwerte des Notizbuchs beibehalten oder die Werte ändern, bevor Sie den Auftrag übermitteln. Werte, die Sie ändern, werden mit der Auftragskonfiguration gespeichert und für zukünftige geplante Ausführungen verwendet.

Wenn ein Parameterwert nicht mit dem erwarteten Typ übereinstimmt, zeigt die Erweiterung einen Inlineüberprüfungsfehler an und verhindert, dass Sie den Auftrag übermitteln, bis der Fehler behoben ist.

Parameter zu einem vorhandenen Notebook-Job hinzufügen

Um einem vorhandenen Notizbuchauftrag Parameter hinzuzufügen, laden Sie das neueste Notizbuch herunter, aktualisieren Sie das Notizbuch lokal, um die Parameter zu definieren, und bearbeiten Sie dann den Auftrag. Wenn Sie das aktualisierte Notizbuch in der Auftragskonfiguration hochladen oder aktualisieren, stehen die Parameter für den Auftrag zur Verfügung.

Nachdem die Parameter verfügbar sind, können Sie deren Werte aktualisieren und den Auftrag erneut übermitteln. Aktualisierte Parameterwerte werden mit der Auftragskonfiguration gespeichert und für zukünftige geplante Ausführungen verwendet.

Aktualisieren von Parametern aus dem Notizbuch

Wenn das Notizbuch nach dem Erstellen des Auftrags aktualisiert wird, aktualisieren Sie die Auftragsparameter, um die Auftragskonfiguration mit den neuesten Notizbuchparametern zu synchronisieren.

Aktualisieren von Parametern:

  • Fügt neue Parameter hinzu, die dem Notizbuch hinzugefügt wurden.
  • Entfernt Parameter, die aus dem Notizbuch entfernt wurden.
  • Behält vorhandene Auftragskonfigurationswerte bei, die Sie geändert haben.

Beim Aktualisieren von Parametern werden Parameterwerte, die bereits in der Auftragskonfiguration bearbeitet wurden, nicht überschrieben.

Parameterwerte zurücksetzen

Sie können Parameterwerte auf die im Notizbuch definierten Standardwerte zurücksetzen.

Verwenden Sie die Zurücksetzung für einen einzelnen Parameter, um nur diesen Wert wiederherzustellen. Verwenden Sie "Alle zurücksetzen" , um alle Parameterwerte in den Standardeinstellungen des Notizbuchs wiederherzustellen. Wenn Sie alle Parameterwerte zurücksetzen, bestätigen Sie die Zurücksetzung, bevor die Werte wiederhergestellt werden.

Ausführen mit benutzerdefinierten Laufzeitparameterwerten

Wenn Sie "Jetzt ausführen" für einen parametrisierten Notizbuchauftrag auswählen, öffnet die Microsoft Sentinel Erweiterung ein Dialogfeld mit Laufzeitparametern. Das Dialogfeld wird vorab mit den Parameterwerten aufgefüllt, die in der Auftragskonfiguration gespeichert sind.

Screenshot des Dialogfelds

Sie können die gespeicherten Werte beibehalten oder für die aktuelle Ausführung ändern. Laufzeitparameteränderungen gelten nur für diesen Auftrag und aktualisieren nicht die gespeicherte Auftragskonfiguration oder zukünftige geplante Ausführung.

Verwenden Sie Laufzeitparameter, wenn Sie denselben Auftrag für verschiedene Eingaben wiederverwenden möchten, z. B. das Ausführen derselben Risikoanalyse für einen anderen Benutzer.

Ausführungsverlauf des Auftrags anzeigen

Nachdem Sie einen parametrisierten Notizbuchauftrag ausgeführt haben, zeigen Sie den Auftragsstatus an, und führen Sie den Verlauf auf die gleiche Weise aus, wie Sie andere Notizbuchaufträge anzeigen. Wählen Sie auf der Registerkarte "Ausführungsverlauf" eine Ausführung aus, um weitere Details zu sehen.

Aufträge ohne Parameter

Wenn das ausgewählte Notizbuch keine Parameter definiert, zeigt die Auftragskonfiguration einen leeren Parameterstatus an. Wenn Sie Parameter hinzufügen möchten, aktualisieren Sie das Notizbuch so, dass es Parameterdefinitionen enthält, speichern Sie das Notizbuch, und laden Oder aktualisieren Sie die Auftragskonfiguration.

Bearbeiten eines übermittelten Auftrags

Beim Übermitteln eines Auftrags wird eine Auftragsdefinition erstellt, die die Notebookdatei, die Auftragskonfiguration und den Zeitplan enthält. Die Auftragsdefinition wird aus Ihrem VS Code-Editor hochgeladen und im Microsoft Sentinel Data Lake gespeichert. Nach der Übermittlung ist der Auftrag nicht mehr mit der Notebookdatei in Ihrem lokalen Dateisystem verbunden. Wenn Sie den Code im Notebookauftrag bearbeiten möchten, müssen Sie die Auftragsdefinition herunterladen, die Notebookdatei bearbeiten und den Auftrag dann erneut übermitteln.

Führen Sie die folgenden Schritte aus, um einen übermittelten Auftrag zu bearbeiten:

  1. Wählen Sie im Abschnitt Aufträge den Auftrag aus, den Sie bearbeiten möchten.

  2. Wählen Sie das Download-Cloudsymbol aus, um die Jobdefinition auf Ihr lokales Dateisystem herunterzuladen. Im Auftragsdetails-Editor wird die Auftragskonfiguration angezeigt. Sie können auch Neuestes Notizbuch herunterladen auswählen.

    Screenshot: Symbol

  3. Bearbeiten Sie die heruntergeladene ipynb Arbeitsmappendatei, um Ihre Änderungen vorzunehmen.

  4. Kehren Sie zur Registerkarte Auftragsdetails zurück , und wählen Sie Auftrag bearbeiten aus.

  5. Bearbeiten Sie den Auftragsnamen, die Beschreibung, die Clusterkonfiguration und den Zeitplan. Wenn Sie den Auftragsnamen ändern, wird eine neue Auftragsdefinition erstellt, wenn Sie den Auftrag übermitteln.

  6. Wählen Sie Senden aus, um die aktualisierte Notebookdatei und Auftragskonfiguration hochzuladen.

  7. Eine Bestätigung wird angezeigt, wenn der Auftrag erfolgreich übermittelt wurde.

    Ein Screenshot, der die Seite „Jib bearbeiten“ in VS Code zeigt.

Anzeigen von Aufträgen im Microsoft Defender-Portal

Zusätzlich zum Anzeigen von Aufträgen in VS Code können Sie Ihre Notebook-Aufträge auch im Defender-Portal anzeigen. Um Ihre Aufträge im Defender-Portal anzuzeigen, wählen Sie Microsoft Sentinel>Data Lake-Erkundungsaufträge>aus.

Die Job-Seite zeigt eine Liste der Jobs und deren Typen. Wählen Sie einen Notebook-Auftrag aus, um dessen Details anzuzeigen. Sie können den Zeitplan des Auftrags aktivieren und deaktivieren, aber Sie können einen Notebookauftrag nicht im Defender-Portal bearbeiten.

Screenshot: Seite

  1. Wählen Sie einen Auftrag aus, um die Auftragsdetails anzuzeigen.

    Screenshot: Auftragsdetails im Defender-Portal

  2. Wählen Sie Verlauf anzeigen aus, um den Verlauf der Auftragsausführungen anzuzeigen.

    Screenshot: Seite

Dienstparameter und -grenzen

Die folgenden Abschnitte fassen die Spaltenbenennensregeln und Servicelimits für Notebook-Jobs im Microsoft Sentinel Data Lake zusammen.

Anforderungen an den Spaltennamen für die save_as-Methode

Die Methode save_as schreibt die Notebook-Ausgabe in eine Zieltabelle im Microsoft Sentinel Data Lake. Die folgenden Regeln zur Spaltenbenennung gelten, wenn Sie diese Methode verwenden.

  • Spaltennamen müssen mit einem Buchstaben beginnen.

  • Die folgenden Standardspalten werden für den Export nicht unterstützt. Der Aufnahmeprozess überschreibt diese Spalten in der Zielschicht:

    • TenantId
    • _TimeReceived
    • Typ
    • SourceSystem
    • _ResourceId
    • _Subscriptionid
    • _ItemId
    • _BilledSize
    • _IsBillable
    • _WorkspaceId

  • TimeGenerated wird überschrieben, wenn es älter als zwei Tage ist. Um die ursprüngliche Ereigniszeit beizubehalten, schreiben Sie den Quellzeitstempel in eine separate Spalte.

Eine Liste der Dienstgrenzwerte für den Microsoft Sentinel Data Lake finden Sie unter Microsoft Sentinel Data Lake-Dienstgrenzwerte.

Problembehandlung

Informationen zur Problembehandlung von Notebookaufträgen und Data Lake-Vorgängen finden Sie unter Problembehandlung für Notebooks im Microsoft Sentinel Data Lake.

Verwandte Inhalte

  • Last updated on