Treinamento distribuído usando DeepSpeed

Importante

Esse recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Esta página apresenta exemplos de notebooks para treinamento distribuído usando DeepSpeed no AI Runtime. O DeepSpeed fornece técnicas avançadas de otimização de memória por meio de seus estágios do ZeRO (Otimizador de Redundância Zero), permitindo o treinamento eficiente de modelos grandes.

Quando usar o DeepSpeed

Use DeepSpeed quando:

  • Você precisa de otimização de memória avançada além do FSDP padrão
  • Você deseja um controle refinado sobre a fragmentação de estado do otimizador (ZeRO Stage 1, 2 ou 3)
  • Você precisa de recursos adicionais, como fusão de acúmulo de gradiente ou descarregamento de CPU
  • Você está trabalhando com modelos de linguagem grandes (parâmetros de 1B a 100B+)

Para casos de uso mais simples, considere DDP. Para treinamento de modelo grande nativo do PyTorch, consulte FSDP.

Exemplos

Tutorial Descrição
Ajuste refinado supervisionado usando TRL e DeepSpeed ZeRO Stage 3 Use a API do Python de GPU Sem Servidor para executar o SFT (ajuste fino supervisionado) usando a biblioteca TRL (Aprendizado de Reforço Transformador) com otimização do Estágio 3 do DeepSpeed ZeRO em uma GPU A10 de nó único.
  • Last updated on