Crear un conjunto de pruebas de conversación

La evaluación conversacional te permite analizar el comportamiento general de tu agente durante una interacción prolongada. Refleja cómo los usuarios reales interactúan con los agentes, donde cada respuesta depende del contexto previo dentro de una conversación en curso. Puedes usar estas evaluaciones para determinar si un agente puede mantener el contexto, pedir aclaraciones y completar tareas de varios pasos.

También puede ejecutar evaluaciones de respuesta única, que son adecuadas para cuando desea probar el agente sobre cómo responde preguntas específicas, sobre las funcionalidades a las que llama y sobre la redacción exacta que usa en sus respuestas.

Las evaluaciones usan conjuntos de pruebas. Un conjunto de pruebas para evaluaciones conversacionales consta de un grupo de hasta 20 casos de prueba. Cuando ejecuta una evaluación de agente, seleccione un conjunto de pruebas y Copilot Studio ejecuta todos los casos de ese conjunto contra su agente.

Puedes crear casos de prueba dentro de un conjunto de pruebas importándolos mediante una hoja de cálculo o usar IA para generar mensajes basados en el diseño y los recursos de tu agente. Luego puede elegir cómo quiere medir la calidad de las respuestas de su agente para cada caso de prueba dentro de un conjunto de pruebas.

Para obtener más información sobre cómo funciona la evaluación de los agentes, consulte Acerca de la evaluación de agentes.

Para aprender cómo editar un conjunto de pruebas existente, consulte Cambiar los detalles de un conjunto de pruebas.

Crear un conjunto de pruebas de conversación

1. Vaya a la página Evaluación del agente.

1. Selecciona Nueva evaluación, luego selecciona Conversación.

   

2. Puede crear casos de prueba de varios turnos utilizando cualquiera de los siguientes métodos:

   • Conjunto de conversaciones rápidas: Genera automáticamente 10 conversaciones cortas basadas en la descripción, instrucciones y capacidades de tu agente.

   • Conjunto de conversaciones completas: Genera conversaciones utilizando el conocimiento de tu agente o los temas definidos. En esta opción puedes seleccionar crear conversaciones cortas o largas.

   • Usar el chat de prueba: convierta el chat de prueba más reciente en un caso de prueba.

1. En Nombre, escriba un nombre para el conjunto de pruebas.

2. Cambia o añade los métodos de prueba que quieras usar. Para conjuntos de pruebas de conversación, puede añadir los métodos de prueba Calidad general, Coincidencia de palabras clave, Uso de herramientas o Personalizado.

   • Agregue un método:
     1. Seleccione Agregar método de prueba.
     2. Seleccione todos los métodos con los que quiere probar y luego seleccione Aceptar. Puede agregar varios métodos.
     3. Para algunos métodos, establezca una puntuación de aprobado y luego seleccione Aceptar. La nota de aprobado determina la calificación que resulta en un aprobado o un suspenso.
     4. Algunos métodos requieren agregar respuestas esperadas o palabras clave para cada caso de prueba. Para más información, consulte Elegir métodos de evaluación.
   • Seleccione un método de prueba existente para editar o eliminar.

   Método de prueba	Medidas	Tipo de conjunto de pruebas	Puntuación	Configuraciones
   Calidad general	¿Qué tan buena es la respuesta del caso de prueba basada en cualidades específicas?	Respuesta única o conversación	Puntuado sobre 100 %	Nada
   Comparación de significado	Qué tan bien el significado de la respuesta del caso de prueba se corresponde con la respuesta esperada	Respuesta única	Puntuado sobre 100 %	Puntuación de aprobación, respuesta esperada
   Uso de herramientas	Si el caso de prueba utilizó todos o algunos recursos esperados	Respuesta única	Aprobado/suspendido	Capacidades esperadas
   Concordancia de palabra clave	Si el caso de prueba utilizó todas o alguna de las palabras clave o frases esperadas	Respuesta única o conversación	Aprobado/suspendido	Palabras clave y frases esperadas
   Similitud de texto	Qué tan similar es el texto de la respuesta del caso de prueba a la respuesta esperada	Respuesta única	Puntuado sobre 100 %	Puntuación de aprobación, respuesta esperada
   Coincidencia exacta	Si la respuesta del caso de prueba coincide exactamente con la esperada	Respuesta única	Aprobado/suspendido	Respuesta esperada
   Personalizado	Si la respuesta del caso de prueba satisface los criterios o expectativas definidos.	Respuesta única o conversación	Pass/fail (pasa los criterios de etiqueta definidos)	Nombre, instrucciones de evaluación, etiquetas

3. Edite los detalles de los casos de prueba. Todos los métodos de prueba, excepto calidad general, requieren respuestas esperadas o palabras clave. Para más información sobre cómo editar casos de prueba, consulte Modificar un conjunto de pruebas.

4. Seleccione Perfil de usuario, luego seleccione o agregue la cuenta que desee usar para este conjunto de pruebas, o continúa sin autenticación. La evaluación utiliza esta cuenta para conectarse con fuentes de conocimientos y herramientas durante la evaluación. Para obtener información sobre cómo agregar y administrar perfiles de usuario, consulte Administrar perfiles y conexiones de usuario.

1. Edita o crea más casos de prueba. Aprende más en Editar casos de prueba dentro de un conjunto de pruebas.

2. Seleccione Guardar para actualizar el conjunto de pruebas sin ejecutar los casos de prueba o Evaluar para ejecutar el conjunto de pruebas inmediatamente.