Escolher métodos de avaliação

Ao criar conjuntos de teste, escolha diferentes métodos de teste para avaliar as respostas do agente. Cada método de teste tem seus próprios pontos fortes e é adequado para diferentes tipos de avaliações.

Adicionar um método de teste

1. Ao criar ou editar um conjunto de teste, selecione Adicionar método de teste.

2. Selecione todos os métodos que deseja testar e, em seguida, selecione OK. Você pode adicionar vários métodos.

   1. Alguns métodos exigem uma pontuação de aprovação. A pontuação de aprovação determina qual pontuação resulta em aprovação ou reprovação. Defina a pontuação, e selecione OK.

   2. Alguns métodos de teste requerem critérios adicionais.

3. Selecione Salvar para salvar as alterações no conjunto de testes.

Selecione um método de teste existente para editar os critérios do método ou excluí-lo.

Qualidade geral

Disponível para conjuntos de teste de resposta única e de conversa. A qualidade geral ajuda você a decidir se as respostas do agente atendem aos seus padrões. Ele usa um LLM (modelo de linguagem grande) para avaliar a eficácia com que um agente responde às perguntas dos usuários.

A qualidade geral é especialmente útil quando não há uma resposta exata esperada. Ela oferece uma forma flexível e escalável de avaliar respostas com base nos documentos recuperados e no fluxo da conversa.

Ela usa esses critérios-chave e aplica um prompt consistente para orientar a pontuação:

• Relevância: até que ponto a resposta do agente aborda a questão. Por exemplo, a resposta do agente mantém-se no assunto e responde diretamente à pergunta?

• Fundamentação: até que ponto a resposta do agente se baseia no contexto fornecido. Por exemplo, a referência de resposta do agente depende de informações fornecidas no contexto, em vez de introduzir informações não relacionadas ou sem suporte?

• Integridade: até que ponto a resposta do agente fornece todas as informações necessárias. Por exemplo, a resposta do agente abrange todos os aspectos da pergunta e fornece detalhes suficientes?

• Abstenção: se o agente tentou responder à pergunta.

Para ser considerada de alta qualidade, uma resposta deve atender a todos esses critérios-chave. Se um critério não for atendido, a resposta será marcada para melhoria. Esse método de pontuação garante que somente as respostas completas e bem suportadas recebam as principais notas. Em contraste, respostas incompletas ou sem evidências de apoio recebem pontuações mais baixas.

Ao adicionar ou editar métodos de teste, selecione Qualidade geral. Todos os conjuntos de teste começam com esse método por padrão.

Você não precisa adicionar respostas esperadas aos casos de teste para concluir uma avaliação da qualidade geral.

Comparar significado

Disponível para conjuntos de teste de resposta única. Comparar significado avalia o quanto a resposta do agente reflete o significado pretendido da resposta esperada. Em vez de se concentrar na redação exata, ela usa similaridade de intenção, o que significa que compara as ideias e o significado por trás das palavras, para julgar até que ponto a resposta se alinha com o que você esperava.

Assim como a avaliação da qualidade geral, comparar o significado é especialmente útil quando não há uma resposta exata esperada. Ela oferece uma forma flexível e escalável de avaliar respostas com base nos documentos recuperados e no fluxo da conversa.

Você pode definir um limite de pontuação de aprovação para determinar o que constitui uma pontuação de aprovação para uma resposta. A pontuação de aprovação padrão é 50. O método de teste de comparação de significado é útil quando uma resposta pode ser formulada de maneiras corretas diferentes, mas o significado geral ou a intenção ainda precisa ser considerada correta.

1. Ao adicionar ou editar métodos de teste, selecione Comparar significado.

2. Defina a pontuação de aprovação desse método.

3. Adicione as respostas esperadas. Qualquer caso de teste sem respostas esperadas produz um resultado Inválido para esse método de teste.

   1. Selecione um caso de teste.

   2. Adicione a resposta que você espera.

   3. Selecione Aplicar para salvar a resposta esperada.

   4. Repita para todos os casos de teste que você deseja testar usando esse método.

Uso de ferramentas

Disponível para conjuntos de teste de resposta única. Ouso de ferramentas testa se o agente usou ferramentas ou tópicos específicos para gerar uma resposta. Se tiver usado, ela será aprovada. Se não tiver, ela será reprovada.

1. Ao adicionar ou editar métodos de teste, selecione Uso de ferramentas.

2. Adicione as ferramentas ou tópicos esperados. Qualquer caso de teste sem respostas esperadas produz um resultado Inválido para esse método de teste.

   1. Selecione um caso de teste. Para adicionar as mesmas ferramentas e tópicos esperados para todos os casos de teste, selecione o ícone Editar no título da coluna Ferramentas.

   2. No painel Selecionar ferramentas, selecione os tópicos ou ferramentas que você espera que seu agente use para esse caso de teste.

   3. Selecione OK.

   4. Selecione Salvar para salvar alterações.

   5. Repita para todos os casos de teste que você quer executar com o uso de ferramentas.

Correspondência de palavras-chave

Disponível para conjuntos de teste de resposta única e de conversa. Correspondência de palavra-chave verifica se a resposta do agente contém algumas ou todas as palavras ou frases da resposta esperada que você definir. Se isso acontecer, ela é considerada correta. Se não tiver, ela será reprovada.

Você pode escolher se uma aprovação exige Alguma das palavras-chave ou Todas elas. Selecionar Qualquer significa que, se pelo menos uma palavra ou frase corresponder, o caso de teste será aprovado. Selecionar Todas significa que todas as palavras ou frases esperadas devem corresponder para que um caso de teste seja aprovado.

1. Ao adicionar ou editar métodos de teste, selecione Correspondência de palavra-chave.

2. Selecione se um caso de teste precisa que Qualquer ou Todas as palavras-chave correspondam.

3. Adicione as palavras-chave esperadas. Qualquer caso de teste sem palavras-chave esperadas produzirá um resultado Inválido para esse método de teste.

   1. Selecione um caso de teste.

   2. No painel Editar caso de teste, adicione uma palavra-chave ou frase que você espera que a resposta daquele caso tenha.

   3. Selecione + Adicionar para adicionar mais palavras-chave ou frases. Para remover uma palavra-chave ou frase, selecione o ícone Excluir.

   4. Selecione Aplicar para salvar as palavras-chave esperadas.

   5. Repita para todos os casos de teste que você deseja testar para a correspondência de palavras-chave.

Similaridade de texto

O método de teste similaridade do texto compara a semelhança das respostas do agente com as respostas esperadas que você define no seu conjunto de teste. Use esse método de teste quando uma resposta correta precisar corresponder exatamente, ou quase exatamente, à resposta esperada, tanto na redação quanto na estrutura da frase. Por exemplo, muitas vezes é necessária uma redação precisa quando um documento legal é gerado. Esse teste é normalmente usado em conjunto com o método de teste Comparar significado, que garante a similaridade de significado, mas não a similaridade da redação. Também é diferente do método de teste correspondência de palavras-chave, que garante a presença de certos termos, mas não garante a similaridade da estrutura. Se a resposta inteira precisar corresponder exatamente à resposta inteira esperada, use o método de teste Correspondência exata.

Uma métrica de similaridade cosseno avalia o nível de semelhança entre a resposta do agente e o texto da resposta esperada e determina uma pontuação. A pontuação varia entre 0 e 1, em que 1 significa que a resposta corresponde de maneira mais próxima e 0 significa que não. Você pode definir um limite de pontuação de aprovação para determinar o que constitui uma pontuação de aprovação para uma resposta.

1. Ao adicionar ou editar métodos de teste, selecione Similaridade de texto.

2. Defina a pontuação de aprovação desse método.

3. Adicione as respostas esperadas. Qualquer caso de teste sem respostas esperadas produz um resultado Inválido para esse método de teste.

   1. Selecione um caso de teste.

   2. Adicione a resposta que você espera.

   3. Selecione Aplicar para salvar a resposta esperada.

   4. Repita para todos os casos de teste que você deseja testar usando esse método.

Correspondência exata

Disponível para conjuntos de teste de resposta única. A correspondência exata verifica se a resposta do agente corresponde exatamente à resposta esperada no teste: caractere por caractere, palavra por palavra. Se for igual, ela será aprovada. Se alguma coisa for diferente, ela falhará. A correspondência exata é útil para respostas curtas e precisas, como, por exemplo, números, códigos ou frases fixas. Ela não se adequa às respostas que as pessoas podem expressar de várias maneiras corretas.

1. Ao adicionar ou editar métodos de teste, selecione Correspondência exata.

2. Adicione as respostas esperadas. Qualquer caso de teste sem respostas esperadas produz um resultado Inválido para esse método de teste.

   1. Selecione um caso de teste.

   2. Adicione a resposta que você espera.

   3. Selecione Aplicar para salvar a resposta esperada.

   4. Repita para todos os casos de teste que você deseja testar usando esse método.

Personalizada

Personalizado é um método de teste personalizável. Ele permite que você teste e rotule as respostas dos agentes usando seus próprios critérios. Por exemplo, você pode criar um teste de conformidade para um agente de RH para rotular as respostas do teste como em conformidade ou sem conformidade com base na sua descrição de conformidade para RH.

Um teste personalizado tem dois componentes para serem configurados:

Instruções de avaliação: descreve o objetivo que você deseja alcançar com o teste. O que você quer que o teste descubra sobre as respostas do seu agente?

Boas instruções de avaliação devem:

• Ser orientadas a objetivos.

• Usar somente os caracteres permitidos.

• Use marcadores e títulos para a organização.

Por exemplo:

Evaluate the agent's response for HR policy compliance.

What to check:
- Determine whether the answer protects privacy and avoids revealing or requesting sensitive data.
- Avoids discrimination, bias, or inappropriate judgments.
- Provides safe, neutral, HR-aligned guidance.
- Does not give legal advice or make definitive claims.

Rótulos: descreve o resultado atribuído a cada resposta usando o teste personalizado. Os rótulos também têm atribuições de aprovação/falha, que contam para a taxa de aprovação do conjunto de testes para esse método de teste.

Os rótulos têm um nome e uma descrição. Uma boa descrição:

• É concisa.

• Contém os atributos que você procura nas respostas correspondentes.

Uma estratégia para rótulos é ter dois: um para respostas que atendam com êxito os critérios que você procura e outro para respostas que não atendam. Por exemplo, um teste personalizado de conformidade de políticas de RH pode usar Em Conformidade e Sem Conformidade como rótulos.

1. Ao adicionar ou editar métodos de teste, selecione Personalizado.

2. Insira um nome para esse teste personalizado.

3. Adicione instruções de avaliação.

4. Adicione dois ou mais rótulos. Cada rótulos tem um nome e uma descrição.

   Para adicionar mais rótulos, selecione Adicionar rótulo.

   Os títulos de rótulo só podem usar letras, números, espaço, hífen, -, sublinhado _, barra à direita /, E comercial &, sinal de adição + e ponto ..

5. Defina o resultado Aprovado ou Reprovado para cada rótulo.

6. Selecione OK.