Registo automático em Ciência de Dados

Este artigo descreve o autologging em Ciência de Dados.

Ao usar o autolog, é necessário significativamente menos código para registar automaticamente os parâmetros, métricas e itens de um modelo de aprendizagem automática durante o treino.

O autologging estende as capacidades de rastreamento de fluxo de ML e está profundamente integrado na carga de trabalho de Ciência de Dados.

O autologging pode captar métricas como precisão, perda, pontuação F1 e métricas personalizadas que você definir. Usando o registro automático, desenvolvedores e cientistas de dados podem facilmente rastrear e comparar o desempenho de diferentes modelos e experimentos sem rastreamento manual.

Estruturas suportadas

O autologging suporta uma vasta gama de frameworks de aprendizagem automática, incluindo TensorFlow, PyTorch, scikit-learn e XGBoost. Para saber mais sobre as propriedades específicas do framework que o autologging captura, consulte a documentação do MLflow.

Configuração

O autologging funciona durante o treino para capturar automaticamente os valores dos parâmetros de entrada, métricas de saída e itens de saída de um modelo de aprendizagem automática. Esta informação está registada no seu espaço de trabalho Microsoft Fabric, onde pode aceder e visualizá-la usando as APIs MLflow ou os correspondentes itens de experiência e modelo no seu espaço de trabalho Microsoft Fabric.

Quando abre um bloco de notas de Ciência de Dados, o Microsoft Fabric chama mlflow.autolog() para ativar instantaneamente a monitorização e carregar as dependências correspondentes. À medida que treina modelos no seu caderno, o MLflow acompanha automaticamente a informação dos modelos.

A configuração acontece automaticamente quando executa import mlflow. A configuração padrão do hook mlflow.autolog() para o notebook é:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    log_datasets=True,
    log_traces=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True,
    extra_tags=None,
    exclude_flavors=None
)

Personalização

Para personalizar o comportamento de registo, use a mlflow.autolog() configuração. Esta configuração fornece parâmetros para permitir o registo de modelos, recolher amostras de entrada, configurar avisos ou ativar o registo para conteúdos adicionais que especificar.

Acompanhe mais métricas, parâmetros e propriedades

Para execuções que cria ao usar MLflow, atualize a configuração de autologging do MLflow para acompanhar métricas, parâmetros, ficheiros e metadados adicionais:

1. Atualize a chamada de mlflow.autolog() para exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       log_datasets=True,
       log_traces=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True,
       extra_tags=None,
       exclude_flavors=None
   )
   

2. Use as APIs de rastreamento do MLflow para registar parâmetros e métricas extra. O seguinte código de exemplo mostra como registar as suas métricas e parâmetros personalizados juntamente com propriedades extra.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
   mlflow.log_param("parameter name", "example value")
   # <add model training code here>
   mlflow.log_metric("metric name", 20)
   

Desativar o autologging do Microsoft Fabric

Pode desativar o autologging do Microsoft Fabric para uma sessão específica do notebook. Também pode desativar o registo automático em todos os cadernos usando a configuração do espaço de trabalho.

Desative o autologging para uma sessão do notebook

Para desativar o autologging do Microsoft Fabric para uma sessão específica do notebook, chame mlflow.autolog() e defina disable=True.

import mlflow
mlflow.autolog(disable=True)

Desativar o registo automático para todos os cadernos de notas e sessões

Os administradores de espaços de trabalho podem ativar ou desativar o autologging do Microsoft Fabric para todos os cadernos e sessões no seu espaço de trabalho usando as definições do espaço de trabalho.

Para ativar ou desativar o registo automático de Ciência de Dados:

1. No seu espaço de trabalho, selecione Definições do espaço de trabalho.

   

2. Nas definições do Workspace, expanda Engenharia/Ciência de Dados no menu esquerdo e selecione Definições do Spark.

3. Nas definições do Spark, selecione o separador Registo Automático .

4. Ajustar o seguimento automático de experiências e modelos de aprendizagem automática para Ligado ou Desligado.

5. Selecione Guardar.

   

Conteúdo relacionado

• Construa um modelo de aprendizagem automática com Apache Spark MLlib
• Experiências de aprendizagem automática em Microsoft Fabric
• MLflow 3 em Fabric Ciência de Dados