Criar um conjunto de testes de conversa

A avaliação de conversa permite a você avaliar o comportamento geral do agente ao longo de uma interação mais longa. Isso reflete como usuários reais interagem com agentes, quando cada resposta depende do contexto anterior dentro de uma conversa em andamento. Você pode usar essas avaliações para determinar se um agente consegue manter o contexto, pedir esclarecimentos e concluir tarefas em várias etapas.

Você também pode executar avaliações de resposta única, que são boas quando você deseja testar o agente sobre como ele responde a perguntas específicas, sobre quais capacidades ele chama e a redação exata que ele usa nas respostas.

As avaliações usam conjuntos de testes. Um conjunto de testes para avaliações de conversa consiste em um grupo de até 20 casos de teste. Ao executar uma avaliação de agente, você seleciona um conjunto de testes e o Copilot Studio executa todos os casos de teste desse conjunto no seu agente.

Você pode criar casos de teste dentro de um conjunto de testes importando-os por meio de uma planilha ou usando IA para gerar mensagens com base no design e nos recursos do agente. Você pode então escolher como deseja avaliar a qualidade das respostas do seu agente para cada caso de teste dentro de um conjunto de testes.

Para mais informações sobre como funciona a avaliação de agentes, consulte Sobre avaliação de agentes.

Para saber como editar um conjunto de teste existente, consulte Alterar os detalhes de um conjunto de teste.

Criar um conjunto de testes de conversa

1. Vá para a página Avaliação do agente.

1. Selecione Nova avaliação e Conversa.

   

2. Você pode criar casos de teste com várias rodadas usando qualquer um dos seguintes métodos:

   • Conjunto de conversas rápidas: gere automaticamente 10 conversas curtas com base na descrição, nas instruções e nas capacidades do agente.

   • Conjunto de conversas completo: gere conversas usando o conhecimento do agente ou tópicos definidos. Nessa opção, você pode selecionar a criação de conversas curtas ou longas.

   • Usar o chat de teste: converta o chat de teste mais recente em um caso de teste.

1. Em Nome, digite um nome para o conjunto de testes.

2. Altere ou adicione os métodos de teste que você deseja usar. Para conjuntos de testes de conversa, você pode adicionar os métodos de teste Qualidade geral, Correspondência de palavra-chave, Uso de ferramentas ou Personalizado.

   • Adicione um novo método:
     1. Selecione Adicionar método de teste.
     2. Selecione todos os métodos que deseja testar e, em seguida, selecione OK. Você pode adicionar vários métodos.
     3. Para alguns métodos, defina uma pontuação de aprovação e selecione OK. A pontuação de aprovação determina qual pontuação resulta em aprovação ou reprovação.
     4. Alguns métodos exigem adicionar respostas esperadas ou palavras-chave para cada um dos seus casos de teste. Para obter mais informações, consulte Escolher métodos de avaliação.
   • Selecione um método de teste existente para editar ou excluir.

   Método de teste	Medidas	Tipo de Conjunto de Teste	Pontuação	Configurações
   Qualidade geral	Quão boa é a qualidade da resposta de um caso de teste com base em características específicas	Resposta única ou conversa	Pontuação de 100%	Nenhum
   Comparar significado	Quão bem o significado da resposta do caso de teste corresponde à resposta esperada	Resposta única	Pontuação de 100%	Pontuação de aprovação, resposta esperada
   Uso de ferramentas	Se o caso de teste usou todos ou alguns dos recursos esperados	Resposta única	Aprovação/Reprovação	Capacidades esperadas
   Correspondência de palavras-chave	Se o caso de teste usou todas ou algumas das palavras-chave ou frases esperadas	Resposta única ou conversa	Aprovação/Reprovação	Palavras-chave ou Frases Esperadas
   Similaridade de texto	Quão bem o texto da resposta do caso de teste corresponde à resposta esperada	Resposta única	Pontuação de 100%	Pontuação de aprovação, resposta esperada
   Correspondência exata	Se a resposta do caso de teste corresponde exatamente à resposta esperada	Resposta única	Aprovação/Reprovação	Resposta esperada
   Personalizado	Se a resposta do caso de teste satisfaz os critérios ou expectativas estabelecidos.	Resposta única ou conversa	Aprovação/falha (passa os critérios de rótulo definidos)	Nome, instruções de avaliação, rótulos

3. Edite os detalhes dos casos de teste. Todos os métodos de teste, exceto qualidade geral, exigem respostas esperadas ou palavras-chave. Para mais informações sobre como editar casos de teste, consulte Modificar um conjunto de teste.

4. Selecione “Perfil de usuário”, em seguida selecione ou adicione a conta que você deseja usar para este conjunto de teste, ou continue sem autenticação. A avaliação utiliza essa conta para se conectar a fontes de conhecimento e ferramentas durante os testes. Para informações sobre como adicionar e gerenciar perfis de usuário, consulte Gerenciar perfis de usuário e conexões.

1. Edite ou crie mais casos de teste. Saiba mais em Editar casos de teste dentro de um conjunto de testes.

2. Selecione Salvar para atualizar o conjunto de testes sem executar os casos de teste ou Avaliar para executar o conjunto de testes imediatamente.