Executar avaliações e ver resultados

Realize avaliações e analise os resultados para otimizar o comportamento do seu agente e validar que cumpre os requisitos de negócio e qualidade. Também podes fazer um conjunto de testes várias vezes para ver mudanças ao longo do tempo à medida que melhoras o teu agente.

Este artigo explica como iniciar avaliações e visualizar resultados usando a interface do Copilot Studio. Também pode executar avaliações usando a API Power Platform ou conectores adicionados como ferramentas ou como parte de fluxos de automação no Copilot Studio ou no Power Automate.

Os resultados dos testes estão disponíveis no Copilot Studio durante 89 dias. Para guardar os resultados dos seus testes por um período mais longo, exporte os resultados para um ficheiro CSV.

Executa um teste com um conjunto de testes

Depois de criares um conjunto de testes, executa um teste usando esse conjunto. Ou, refazer testes usando o mesmo conjunto para comparar resultados ao longo do tempo e das iterações. Um teste pode demorar até alguns minutos a ser executado. Só pode fazer um teste de cada vez.

1. Vá à página de Avaliação do seu agente.

   

2. Faça um teste realizando uma das seguintes ações:

   • No final de criar ou editar um conjunto de testes, selecione Avaliar.
   • Na secção de Resultados Recentes , reexecute um teste seguindo um dos seguintes passos:
     • Passe o rato sobre o resultado do teste que pretende avaliar e depois selecione ▶ Avaliar (Avaliar novamente o conjunto de teste) ao lado de Avaliar Agente.
     • Selecione o resultado do teste para o abrir, depois selecione o ícone Executar ▶ no painel de resumo de Avaliação .

   Se o perfil de utilizador do conjunto de teste tiver ligações quebradas, ou se o conjunto de teste não tiver um perfil de utilizador, aparece a janela de diálogo Gerir perfil e ligações . Não precisa de usar um perfil de utilizador para testar. No entanto, se usares um perfil, todas as ligações devem estar a funcionar. Saiba mais em Gerir perfis de utilizador e ligações.

   Importante

   Ao selecionar um perfil de utilizador, pode rever e autenticar quaisquer conectores que o seu agente utilize. Se selecionar uma conta além daquela que usa para iniciar sessão no Copilot Studio, como uma conta de teste, o Copilot Studio autentica esse perfil de utilizador e recupera as ligações existentes do utilizador. Pode configurar, rever e guardar estas ligações antes de executar uma avaliação. Saiba mais em Gerir perfis de utilizador e ligações.

Uma avaliação demora alguns minutos a ser executada. Os resultados dos testes são processados em tempo real, linha a linha. Vês o resultado de cada caso de teste de avaliação a aparecer sequencialmente à medida que são gerados. O processamento em tempo real dos casos de teste dá-lhe visibilidade imediata sobre tendências de qualidade e potenciais falhas enquanto a avaliação decorre. Podes parar a corrida a qualquer momento se surgirem problemas. Um alerta aparece no Copilot Studio quando a avaliação completa está concluída e os resultados resumidos estão prontos para visualização.

Analise os resultados dos testes

Cada vez que executa uma avaliação com um conjunto de testes, Copilot Studio:

1. Usa a conta de utilizador associada para simular conversas com o agente, enviando ao agente cada pergunta do caso de teste.

2. Recolhe as respostas do agente.

3. Mede e analisa o sucesso de cada resposta. Cada caso de teste recebe uma nota de Aprovado, Reprovado, Inválido ou Erro com base nos critérios do caso de teste.

4. Atribui uma pontuação de taxa de aprovação com base nas taxas de aprovação/ereprovação do conjunto de testes.

Pode ver a taxa de aprovação de cada conjunto de testes na página de Avaliação do seu agente, em Resultados Recentes. Para ver mais execuções do conjunto de testes, selecione Ver tudo.

Veja e avalie uma análise detalhada para um caso de teste

Quando abres um resultado do teste, vês os detalhes da execução do teste, uma lista das consultas usadas no teste, a forma como o agente respondeu e a pontuação Aprovado ou Reprovado.

Selecione um caso de teste na lista para ver uma avaliação detalhada de cada resposta. Selecionar Todos, Passar ou Falhar para filtrar casos por resultado.

A avaliação inclui as respostas esperadas e reais, o raciocínio por detrás do resultado do teste e o conhecimento, tópicos e ferramentas que o agente utilizou para responder.

1. Os resultados da avaliação. Este exemplo mostra os detalhes do resultado de uma avaliação de qualidade.

2. Selecione Mostrar mapa de atividade para ver a sequência de entradas, decisões e saídas do seu agente dentro de um caso de teste. Saiba mais em Ver atividade da sessão.

3. A transcrição da pergunta do teste e a resposta do agente.

4. Os recursos que o agente usou no teste. Seleciona um para o abrir.

Pode fornecer feedback à Microsoft sobre o desempenho da avaliação em cada caso de teste. Este feedback refere-se especificamente à eficácia com que o método de avaliação selecionado avaliou a resposta, e não se a resposta em si estava correta. O seu feedback ajuda a melhorar a qualidade e a precisão das avaliações ao longo do tempo.

Para classificar uma avaliação, selecione o ícone de polegar para cima, ou o ícone de polegar para baixo, no painel de detalhes do caso de teste. Quando abrir o formulário de feedback, forneça mais detalhes sobre a sua classificação e depois selecione Enviar.

Um conjunto de testes de avaliação pode ser executado várias vezes por vários "criadores" do mesmo agente. Os fabricantes podem realizar avaliações usando conjuntos de teste criados por outros fabricantes. Os criadores podem ver o estado da execução e as métricas de resultado de qualquer execução de teste, mas só quem iniciou a execução pode ver as respostas do agente e as explicações dos resultados.

Tempo de resposta da revisão

O Copilot Studio mede automaticamente o tempo de resposta para cada interação durante uma avaliação. Uma interação é um pedido de um único utilizador e a resposta correspondente do agente. O tempo de resposta é o tempo de ponta a ponta, em segundos, desde o momento em que o agente recebe o pedido até este devolver a resposta. Inclui todo o raciocínio, chamadas de ferramentas, chamadas de conectores, consultas ou passos de fluxo de trabalho que o agente completa antes de responder.

Para visualizar o tempo de resposta, selecione uma pergunta de caso de teste na janela de Resultados . O valor do tempo de resposta aparece em segundos no painel de resposta do agente, após a resposta.

Para um caso de teste de resposta única, a pergunta do caso de teste e a resposta do agente formam uma interação. Um caso de teste de conversa pode ter múltiplas interações, e o Copilot Studio mede cada uma separadamente.

Use o tempo de resposta para identificar interações mais lentas e compare o desempenho depois de mudar de agente. O tempo de resposta é apenas uma medida. Não atribui um resultado de Aprovado ou Reprovado nem afeta a taxa de aprovação do conjunto de testes.

Compare os resultados dos testes

Queres testar uma versão do teu agente e ver alterações no desempenho antes e depois de fazeres alterações. Pode comparar duas execuções do mesmo conjunto de testes usando a ferramenta Comparação com .

Para ver uma comparação, é preciso correr o mesmo conjunto de testes pelo menos duas vezes.

1. Na página de Avaliação do seu agente, em Resultados de testes recentes, abra a execução de teste que pretende usar como base para a comparação.

2. Selecione o menu pendente Comparar com e depois selecione a hora e a data do teste que deseja comparar com os resultados do teste atualmente abertos.

Na lista de casos de teste, as setas mostram quais os resultados dos casos de teste melhorados ao mudarem de estado de falha para estado de sucesso , ou declinaram ao mudar do estado de sucesso para o estado de falha .

Selecione um caso de teste para ver mais detalhes. No painel de resumo da avaliação , pode ver uma comparação direta das pontuações dos testes, com o resultado do teste atual no topo.

Exportar resultados de testes

Podes exportar os resultados dos testes para um ficheiro CSV. O ficheiro lista a pergunta, resposta esperada (se aplicável), método de teste, pontuação de aprovação (se aplicável), resposta do agente, resultado do teste e análise para cada caso de teste.

1. Vá à página de Avaliação do seu agente.
2. Na secção de Resultados Recentes , exporte um resultado de teste seguindo um dos seguintes passos:
   • Passe o rato sobre o caso de teste que quer exportar, selecione os três pontos (...) e depois selecione Exportar resultados do teste.
   • Selecione o caso de teste para o abrir, selecione os três pontos (...) no painel de resumo de Avaliação e depois selecione Exportar resultados do teste.

Os resultados do teste são descarregados como o nome do seu conjunto de teste.csv.

Partilhe avaliações usando a função de visualizador do agente

Se for o proprietário do agente e quiser conceder acesso apenas à página Avaliação do seu agente, partilhe o agente e ative a função de partilha visualizador do agente. Utilizadores com esta função podem gerir avaliações para um agente específico sem acesso ao próprio agente.

Utilizadores atribuídos ao papel de agente espectador para avaliações:

• Visualize e execute conjuntos de testes de avaliação de outros fabricantes.
• Renomeia, cancela e elimina avaliações.
• Não é possível criar ou atualizar os conjuntos de testes de avaliação partilhados com eles.

Para atribuir a função:

1. Abre o agente e seleciona os três pontos (...) >Partilhar.
2. Na secção de Novos utilizadores e identidades de aplicações, adicione um utilizador ou grupo. Ou selecionar um utilizador existente da lista.
3. Em Tem permissões para este agente, selecione visualizador de agentes na lista de funções.
4. Selecione Partilhar para partilhar o agente.

O utilizador pode então abrir o agente e ver os separadores Avaliações e Monitor. Depois, podem gerir avaliações no separador Avaliação .

Saiba mais sobre como partilhar as avaliações de um agente com outros utilizadores.