Aprendizado de máquina no Azure Databricks

Crie, implante e gerencie aplicativos de machine learning em Azure Databricks. A plataforma integrada unifica todo o ciclo de vida de ML da preparação de dados para o monitoramento de produção.

Procurando IA generativa e agentes de IA? Veja Criar agentes de IA no Azure Databricks.

Introdução

Experimente um início rápido, codifique um modelo e use notebooks.

Guide Description
Introdução: Criar seu primeiro modelo de machine learning no Databricks Crie e implante um modelo de classificação simples com scikit-learn.
Usar o Genie Code para ciência de dados Use um agente de IA para explorar dados, criar modelos e iterar.
Notebooks do Databricks Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala e SQL.
Conceitos: ciência de dados e machine learning no Azure Databricks Conheça os principais conceitos por trás da ciência de dados e do aprendizado de máquina no Azure Databricks.

Treinar modelos clássicos de machine learning

Faça engenharia de atributos, crie modelos de aprendizado de máquina e acompanhe experimentos.

Feature Description
Repositório de Recursos Faça engenharia de recursos, gerencie recursos no Catálogo do Unity e atenda recursos em produção.
Exemplos de treinamento de modelo Explore exemplos de ponta a ponta para treinar modelos de ML clássicos com bibliotecas populares.
Databricks Runtime para ML Clusters pré-configurados com scikit-learn, XGBoost, MLflow e outras bibliotecas de ML, além de suporte para estruturas de aprendizado profundo.
Acompanhamento do MLflow Acompanhe experimentos, compare o desempenho do modelo e gerencie o ciclo de vida completo de desenvolvimento de modelos.

Treinar modelos de aprendizado profundo

Use computação gerenciada e estruturas internas para desenvolver modelos de aprendizado profundo.

Feature Description
Runtime de IA Use a computação de GPU sem servidor para cargas de trabalho personalizadas de treinamento e inferência de aprendizado profundo.
Exemplos de treinamento distribuído Explore exemplos de aprendizado profundo distribuído usando Ray, TorchDistributor e DeepSpeed.
Práticas recomendadas de DL Saiba mais sobre a escolha da estrutura, o carregamento de dados, o dimensionamento distribuído e o gerenciamento do ciclo de vida do modelo de aprendizado profundo.
Ray no Databricks Dimensione cargas de trabalho de ML com computação distribuída para treinamento e inferência de modelo em larga escala.

Implantar e servir modelos

Implante modelos em produção com endpoints escaláveis para inferência em tempo real, por streaming ou em lote.

Feature Description
Serviço de Modelo Implante modelos personalizados e LLMs como endpoints REST com dimensionamento automático e suporte a GPU.
Gateway de IA Gerencie e monitore o acesso a modelos disponibilizados no Azure Databricks com rastreamento de uso, registro de payloads em log e controles de segurança.
Inferência em lote Implante modelos para inferência e previsão em lote e em streaming em grandes conjuntos de dados.
APIs de modelo de fundação Acessar e consultar modelos GenAI de última geração hospedados na Databricks.

Monitorar e controlar sistemas de ML

Verifique a qualidade do modelo, a integridade dos dados e a conformidade com ferramentas abrangentes de monitoramento e governança.

Feature Description
Catálogo do Unity Governe dados, recursos, modelos e funções com controle de acesso unificado, acompanhamento de linhagem e descoberta.
MLflow para Modelos Gerencie todo o ciclo de vida de ML, desde experimentos e modelos até avaliação e implantação.
Detecção de anomalias Monitore a atualização e a integridade dos dados no nível do catálogo.
Criação de perfil de dados Monitore a qualidade dos dados, o desempenho do modelo e o descompasso de previsão com alertas automatizados e análise de causa raiz.

Produzir fluxos de trabalho de ML

Dimensione as operações de aprendizado de máquina com fluxos de trabalho automatizados, integração de CI/CD e pipelines prontos para produção.

Feature Description
Modelos no Catálogo do Unity Use o registro de modelo no Catálogo do Unity para governança centralizada e para gerenciar o ciclo de vida do modelo, incluindo implantações.
Trabalhos do Lakeflow Crie fluxos de trabalho automatizados para pipelines de ML.
Pacotes de Automação Declarativa Gerencie a infraestrutura do Azure Databricks como código em CI/CD, incluindo treinamento e implantação de ML.
Fluxos de trabalho do MLOps Saiba mais sobre MLOps de ponta a ponta com pipelines automatizados de treinamento, teste e implantação.
  • Last updated on