Creación y administración de trabajos de Jupyter Notebook

Puede crear trabajos programados para que se ejecuten en momentos o intervalos específicos mediante la extensión de Microsoft Sentinel para Visual Studio Code. Los trabajos permiten automatizar las tareas de procesamiento de datos para resumir, transformar o analizar datos en el lago de datos Microsoft Sentinel y las tablas federadas. Los trabajos también se usan para procesar datos y escribir resultados en tablas personalizadas en el nivel de lago o el nivel de análisis.

Las siguientes secciones explican cómo crear, programar, editar y gestionar trabajos de notebook, incluyendo configurar los horarios de trabajos, ver detalles de trabajos e historial de ejecuciones, y monitorizar trabajos en el portal de Microsoft Defender.

Permisos necesarios para trabajos en cuadernos

Microsoft Entra ID roles proporcionan un acceso amplio a todas las áreas de trabajo del lago de datos. Para crear y programar trabajos, lea tablas en todas las áreas de trabajo, escriba en los niveles de análisis y lago, debe tener uno de los roles de Microsoft Entra ID admitidos. Para obtener más información sobre los roles y permisos, consulte Roles y permisos en Microsoft Sentinel.

Para crear nuevas tablas personalizadas en el nivel de análisis, se debe asignar a la identidad administrada de Data Lake el rol Colaborador de Log Analytics en el área de trabajo de Log Analytics.

Para asignar el rol, siga estos pasos:

  1. En el Azure Portal, vaya al área de trabajo de Log Analytics a la que desea asignar el rol.
  2. Seleccione Control de acceso (IAM) en el panel de navegación izquierdo.
  3. Seleccione Agregar asignación de roles.
  4. En la tabla Rol, seleccione Colaborador de Log Analytics y, a continuación, seleccione Siguiente.
  5. Seleccione Identidad administrada y seleccione Seleccionar miembros.
  6. La identidad administrada de Data Lake es una identidad administrada asignada por el sistema denominada msg-resources-<guid>. Seleccione la identidad administrada y seleccione Seleccionar.
  7. Seleccione Revisar y asignar.

Para obtener más información sobre cómo asignar roles a identidades administradas, consulte Asignación de roles Azure mediante el Azure Portal.

Creación y programación de un trabajo

Antes de crear o programar un trabajo, asegúrate de tener uno de los roles compatibles con Microsoft Entra ID. Si el trabajo crea tablas personalizadas en el nivel de analítica, asigna primero al Data Lake Managed Identity el rol de Contributor de Log Analytics. Para más información, consulte Permisos requeridos para trabajos de notebook.

Puede crear un trabajo de una de estas tres maneras:

  1. En el editor del cuaderno, seleccione Create schedule Job de la barra de herramientas.

  2. En el panel Explorador, haga clic con el botón derecho en el archivo de bloc de notas y seleccione Microsoft Sentinel y, después, Crear trabajo programado.

    Captura de pantalla que muestra cómo crear un nuevo trabajo en Visual Studio Code.

  3. En la lista de trabajos, seleccione el + icono para crear un nuevo trabajo.

    Captura de pantalla que muestra cómo crear un nuevo trabajo a partir de la lista de trabajos de Visual Studio Code.

  4. Seleccione Usar cuaderno existente para seleccionar un archivo de cuaderno existente o seleccione Crear nuevo cuaderno para crear un nuevo archivo de cuaderno para el trabajo.

    Captura de pantalla que muestra cómo seleccionar un cuaderno existente para el trabajo.

  5. En la página Configuración del trabajo, en la sección Detalles del trabajo, escriba un nombre y una descripción para el trabajo.

  6. Seleccione el tamaño del grupo de Spark para ejecutar el trabajo según las necesidades de computación de sus trabajos.

  7. Para ejecutar un trabajo manualmente sin una programación, seleccione A petición en la sección Programación y, a continuación, seleccione Enviar para guardar la configuración del trabajo y publicar el trabajo.

  8. Para especificar una programación para el trabajo, seleccione Programado en la sección Programación .

    1. Seleccione una frecuencia de repetición del trabajo. Puede elegir entre Por minuto, Por hora, Semanal, Diario o Mensual.

    2. Se muestran opciones de programación adicionales, como el día de la semana, la hora del día o el día del mes, en función de la frecuencia que seleccione.

    3. Seleccione una hora de inicio para que la programación empiece a ejecutarse.

    4. Seleccione una hora de finalización para que la programación deje de ejecutarse. Si no desea establecer una hora de finalización para la programación, seleccione Establecer trabajo para que se ejecute indefinidamente. Las fechas y horas se encuentran en la zona horaria del usuario.

    5. Seleccione Enviar para guardar la configuración del trabajo y publicar el trabajo.

    Captura de pantalla que muestra la página de configuración del trabajo.

  9. Para ver tus trabajos, selecciona la captura de pantalla de Microsoft Sentinel del icono de Microsoft Sentinel en la barra de actividad de VS Code, que se usa para abrir la extensión Microsoft Sentinel. en la barra de herramientas izquierda. Los trabajos se muestran en el panel Trabajos .

  10. Seleccione un trabajo para ver los detalles del trabajo.

  11. Puede ejecutar el trabajo inmediatamente seleccionando Ejecutar ahora, deshabilitar y habilitar la programación del trabajo o eliminar el trabajo.

    Captura de pantalla que muestra la página de detalles del trabajo.

  12. Vea el historial de trabajos en la pestaña Historial de ejecución .

    Captura de pantalla que muestra la página de ejecuciones de trabajos.

  13. Seleccione una actividad para ver más detalles.

    Captura de pantalla que muestra la página de detalles de ejecución del trabajo.

Cree y administre trabajos de cuadernos parametrizados

Los trabajos de cuaderno pueden usar parámetros definidos en el cuaderno. Los parámetros le ayudan a reutilizar el mismo trabajo de cuaderno con valores de entrada diferentes sin editar el código del cuaderno cada vez. Por ejemplo, puede ejecutar el mismo análisis para distintos usuarios, entidades, intervalos de tiempo u otras entradas de investigación.

Los trabajos de cuaderno parametrizados admiten tres niveles de valores:

  • Valores del cuaderno: valores de parámetro predeterminados definidos en el cuaderno.
  • Valores de configuración del trabajo: valores guardados con el trabajo del cuaderno de notas y utilizados en ejecuciones programadas.
  • Valores en tiempo de ejecución: valores proporcionados al ejecutar el trabajo manualmente. Los valores de tiempo de ejecución solo se aplican a la ejecución de ese trabajo.

Crear un trabajo de cuaderno parametrizado

Cuando se crea un trabajo de cuaderno a partir de un cuaderno que contiene parámetros, la extensión Microsoft Sentinel lee los parámetros del cuaderno y los muestra en la configuración del trabajo.

Para crear un trabajo de cuaderno con parámetros:

  1. En el cuaderno, cree una celda de código cerca de la parte superior del cuaderno que contiene los valores predeterminados del parámetro. Abra el menú de celda y seleccione Marcar celda como parámetros.

    Captura de pantalla de Visual Studio Code en la que se muestra el elemento de menú Marcar celda como parámetros para una celda de cuaderno.

  2. Defina los parámetros de la celda. Por ejemplo:

    # Parameters
    lookback_days = [7, 14, 30, 90]
    min_failed_attempts = [5, 10, 20]
    
  3. En el panel Explorador, haga clic con el botón derecho en el archivo de cuaderno, seleccione Microsoft Sentinel y, a continuación, seleccione Crear trabajo programado.

    Captura de pantalla de Visual Studio Code que muestra el menú Microsoft Sentinel con la opción Crear trabajo programado seleccionada.

  4. En el editor de trabajos, expanda Parámetros predeterminados y, a continuación, seleccione Actualizar parámetros para cargar las definiciones de parámetros más recientes desde el cuaderno.

    Captura de pantalla del editor de trabajos del cuaderno programado que muestra el botón Actualizar parámetros en Parámetros predeterminados.

  5. Revise o actualice los valores de parámetro predeterminados y envíe el trabajo.

Puede mantener los valores predeterminados del cuaderno o cambiar los valores antes de enviar el trabajo. Los valores que cambie se guardan con la configuración del trabajo y se usan para futuras ejecuciones programadas.

Si un valor de parámetro no coincide con el tipo esperado, la extensión muestra un error de validación en línea e impide que envíes el trabajo hasta que se corrija el error.

Adición de parámetros a un trabajo de cuaderno existente

Para agregar parámetros a un trabajo de cuaderno existente, descargue el cuaderno más reciente, actualice el cuaderno localmente para definir los parámetros y, a continuación, edite el trabajo. Al cargar o actualizar el cuaderno actualizado en la configuración del trabajo, los parámetros están disponibles para el trabajo.

Una vez disponibles los parámetros, puede actualizar sus valores y volver a enviar el trabajo. Los valores de parámetro actualizados se guardan con la configuración del trabajo y se usan para futuras ejecuciones programadas.

Actualizar parámetros desde el cuaderno

Si el cuaderno se actualiza después de crear el trabajo, actualice los parámetros del trabajo para sincronizar la configuración del trabajo con los parámetros de cuaderno más recientes.

Actualizar parámetros:

  • Agrega nuevos parámetros que se agregaron al cuaderno.
  • Quita los parámetros que se quitaron del cuaderno.
  • Conserva los valores de configuración del trabajo existentes que ha cambiado.

La actualización de parámetros no sobrescribe los valores de parámetro que ya se editaron en la configuración del trabajo.

Restablecer valores de parámetro

Puede restablecer los valores de parámetro a los valores predeterminados definidos en el cuaderno.

Use el restablecimiento de un parámetro individual para restaurar solo ese valor. Use Reset all (Restablecer todo ) para restaurar todos los valores de parámetro a los valores predeterminados del cuaderno. Al restablecer todos los valores de parámetro, confirme el restablecimiento antes de restaurar los valores.

Ejecución con valores de parámetros de tiempo de ejecución personalizados

Al seleccionar Ejecutar ahora para un trabajo de cuaderno con parámetros, la extensión Microsoft Sentinel abre un cuadro de diálogo parámetros en tiempo de ejecución. El cuadro de diálogo se rellena previamente con los valores de parámetro guardados en la configuración del trabajo.

Captura de pantalla del cuadro de diálogo Ejecutar trabajo que muestra los valores de parámetro que se pueden cambiar antes de ejecutar un trabajo de cuaderno.

Puede conservar los valores guardados o cambiarlos para la ejecución actual. Los cambios de parámetros en tiempo de ejecución solo se aplican a esa ejecución de trabajo y no actualizan la configuración del trabajo guardada ni las ejecuciones programadas futuras.

Use parámetros en tiempo de ejecución cuando quiera reutilizar el mismo trabajo para entradas diferentes, como ejecutar el mismo análisis de riesgos para un usuario diferente.

Visualización del historial de ejecución de trabajos

Después de ejecutar un trabajo de cuaderno con parámetros, vea el estado del trabajo y el historial de ejecución de la misma manera que verá otras ejecuciones de trabajos de cuaderno. En la pestaña Historial de ejecución, seleccione una ejecución para ver más detalles.

Trabajos sin parámetros

Si el cuaderno seleccionado no define parámetros, la configuración del trabajo muestra un estado de parámetro vacío. Para agregar parámetros, actualice el cuaderno para incluir definiciones de parámetros, guarde el cuaderno y cargue o actualice la configuración del trabajo.

Edición de un trabajo enviado

Al enviar un trabajo se crea una definición de trabajo que incluye el archivo del cuaderno, la configuración del trabajo y la programación. La definición del trabajo se carga desde el editor de VS Code y se almacena en el lago de datos de Microsoft Sentinel. Una vez enviado, el trabajo ya no está conectado al archivo del cuaderno en el sistema de archivos local. Si desea editar el código en el trabajo del cuaderno, debe descargar la definición del trabajo, editar el archivo del cuaderno y, a continuación, volver a enviar el trabajo.

Para editar un trabajo enviado, siga estos pasos:

  1. En la sección Trabajos , seleccione el trabajo que desea editar.

  2. Seleccione el icono de nube de Descargar para descargar la definición del trabajo en su sistema de archivos local. En el editor de detalles de trabajos, puede ver la configuración del trabajo. También puede seleccionar Descargar el cuaderno de notas más reciente.

    Captura de pantalla que muestra el icono de trabajo de edición y descarga en VS Code.

  3. Edite el archivo del libro descargado ipynb para aplicar los cambios.

  4. Vuelva a la pestaña Detalles del trabajo y seleccione Editar trabajo.

  5. Edite el nombre del trabajo, la descripción, la configuración del clúster y la programación. Al cambiar el nombre del trabajo, se crea una nueva definición de trabajo al enviar el trabajo.

  6. Seleccione Enviar para cargar el archivo de cuaderno actualizado y la configuración del trabajo.

  7. Se muestra una confirmación cuando el trabajo se envía correctamente.

    Captura de pantalla que muestra la página de edición de jib en VS Code.

Visualización de trabajos en el portal de Microsoft Defender

Además de ver trabajos en VS Code, también puede ver los trabajos del cuaderno en el portal de Defender. Para ver sus trabajos en el portal de Defender, seleccione Microsoft Sentinel>Exploración del lago de datos>Trabajos.

La página de Empleos muestra una lista de empleos y sus tipos. Seleccione un trabajo de cuaderno para ver sus detalles. Puede habilitar y deshabilitar la programación del trabajo, pero no puede editar un trabajo de cuaderno en el portal de Defender.

Captura de pantalla que muestra la página trabajos en el portal de Defender.

  1. Seleccione un trabajo para ver los detalles del trabajo.

    Captura de pantalla que muestra los detalles del trabajo en el portal de Defender.

  2. Seleccione Ver historial para ver el historial de ejecuciones de trabajos.

    Captura de pantalla que muestra la página del historial de trabajos en el portal de Defender.

Parámetros de servicio y límites

Las siguientes secciones resumen las reglas de nombres de columnas y los límites de servicio para trabajos de portátiles en el lago de datos Microsoft Sentinel.

Requisitos de nombre de columna para el método save_as

El save_as método escribe la salida del cuaderno en una tabla de destino en el lago de datos Microsoft Sentinel. Las siguientes reglas de nombres de columnas se aplican cuando se utiliza este método.

  • Los nombres de columna deben comenzar con una letra.

  • Las siguientes columnas estándar no se admiten para la exportación. El proceso de ingesta sobrescribe estas columnas en el nivel de destino:

    • Id. de inquilino
    • _TimeReceived
    • Tipo
    • SourceSystem
    • _ResourceId
    • _SubscriptionId
    • _ItemId
    • _BilledSize
    • _IsBillable
    • _WorkspaceId
  • TimeGenerated se sobrescribe si es anterior a dos días. Para conservar la hora del evento original, escriba la marca de tiempo de origen en una columna independiente.

Para obtener una lista de los límites de servicio del lago de datos de Microsoft Sentinel, consulte Límites de servicio del lago de datos de Microsoft Sentinel.

Solución de problemas

Para solucionar problemas de trabajos de cuadernos y operaciones de Data Lake, consulte Solucionar problemas de cuadernos en el Data Lake de Microsoft Sentinel.