Comentários humanos no MLflow

O MLflow regista o feedback humano como avaliações associadas aos registos de rastreio da sua aplicação de IA generativa, permitindo-lhe recolher classificações, comentários e expectativas de referência de programadores, utilizadores finais e especialistas do domínio. O feedback humano complementa a avaliação automatizada. Utilize-o para criar conjuntos de dados para juízes e avaliadores de LLM, e para os manter alinhados com o julgamento humano de peritos.

Visão geral do modelo de dados

O MLflow armazena feedback humano como Avaliações, anexado a Rastreamentos MLflow individuais. Isso vincula o feedback diretamente a uma consulta de usuário específica e às saídas e à lógica do seu aplicativo GenAI.

Existem 2 tipos de avaliação:

  1. Feedback: avalia as saídas reais ou as etapas intermediárias do seu aplicativo. Por exemplo, responde a perguntas como: "A resposta do agente foi boa?". O feedback avalia o que o aplicativo produziu, como classificações ou comentários. O feedback avalia o que foi gerado pelo aplicativo e fornece insights qualitativos.
  2. Expectativa: define o resultado desejado ou correto (verdade básica) que seu aplicativo deveria ter produzido. Por exemplo, isso pode ser "A resposta ideal" para a consulta de um usuário. Para um dado input, a expectativa é sempre a mesma. As expectativas definem o que o aplicativo deve gerar e são úteis para criar conjuntos de dados de avaliação,

As avaliações podem ser anexadas a todo o Traço ou a uma secção específica dentro do Traço.

Para mais detalhes sobre o traço, veja Conceitos de traço.

Como recolher feedback

O MLflow ajuda você a coletar feedback de três fontes principais. Cada fonte é adaptada para um caso de uso diferente no ciclo de vida do seu aplicativo GenAI. Embora o feedback venha de diferentes personas, o modelo de dados subjacente é o mesmo para todas as personas.

Comentários dos desenvolvedores

Durante o desenvolvimento, você pode anotar diretamente os rastreamentos. Isso é útil para acompanhar notas de qualidade à medida que você cria e marca exemplos específicos para futuros testes de referência ou regressão.

Para saber como anotar comentários durante o desenvolvimento, consulte Rótulo durante o desenvolvimento.

Comentários de especialistas no domínio

Envolva especialistas no assunto para fornecer feedback estruturado sobre os resultados do seu aplicativo e definir expectativas para respostas corretas. Suas avaliações detalhadas ajudam a definir como são as respostas de alta qualidade para seu caso de uso específico e são inestimáveis para alinhar juízes de LLM com requisitos de negócios diferenciados.

Note

Para novos fluxos de trabalho de revisão humana, o Azure Databricks recomenda filas de revisão (Beta). As filas de revisão encaminham rastreios e registos de conjuntos de dados para os revisores numa área de trabalho dedicada, com um item de cada vez, reunindo as perguntas estruturadas e a atribuição de revisores que, de outro modo, teria de configurar com esquemas de rotulagem e sessões de rotulagem.

Revise a imagem principal de visualização do aplicativo.

O MLflow também oferece duas abordagens para recolher feedback de especialistas do domínio utilizando a Review App:

Teste interativo com a interface do usuário de bate-papo: os especialistas interagem com seu aplicativo implantado em tempo real por meio de uma interface de bate-papo, fornecendo feedback imediato sobre as respostas à medida que testam fluxos de conversação. Essa abordagem é ideal para "verificações de vibração" e validação qualitativa antes da implantação da produção. Para saber mais, consulte Testar uma versão da aplicação com a interface de chat.

Rotular traços existentes: Os especialistas analisam e rotulam sistematicamente os traços que já tenham sido capturados do seu aplicativo. Esta abordagem é ideal para sessões de avaliação estruturadas onde os especialistas avaliam exemplos específicos e definem as expectativas de verdade. Para saber mais, consulte Etiquetar trilhas existentes.

Comentários dos utilizadores finais

Na produção, capture o feedback dos usuários que interagem com seu aplicativo ao vivo. Isso fornece informações cruciais sobre o desempenho no mundo real, ajudando você a identificar consultas problemáticas que precisam ser corrigidas e destacar interações bem-sucedidas para preservar durante atualizações futuras. O MLflow fornece ferramentas para capturar, armazenar e analisar comentários diretamente dos usuários de seus aplicativos implantados.

Para saber como coletar comentários dos usuários finais, consulte o guia coletar comentários dos usuários finais na seção de rastreamento.

Recursos adicionais

  • Last updated on