Forbedr agenttestning med Copilot Agent Kit

Power CAT Copilot Agent Kit er en brugervenlig applikation, der lader dig verificere agentens svar. Den indeholder også oprindelige funktioner, f.eks. Excel-eksport og -import til masseoprettelse og opdateringer.

Konfigurer, kør og analysér

Konfigurer og kør test i forhold til Copilot Studio API'er (Direct Line API) for at evaluere agentsvar i forhold til de forventede resultater.

Hvis du vil forbedre resultaterne, skal du hente yderligere datapunkter fra Azure Application Insights og Dataverse ved at analysere poster for transskription af samtaler (f.eks. det nøjagtige udløste emnenavn og scorer for genkendelse af hensigt).

For AI-genererede svar, som er ikke-deterministiske af natur, skal du bruge prompter til at sammenligne det genererede svar med et eksempelsvar eller valideringsinstruktioner.

Diagram, der viser Azure- og Power Platform-komponenter, der er involveret i test og analyse af Copilot Studio Direct Line API'er, herunder Azure Application Insights, AI Builder og Dataverse.

Testtyper

Værktøjet understøtter disse testtyper:

  • Svaroverensstemmelse
  • Vedhæftede filer, f.eks. Adaptive kort
  • Emnematch (kræver Dataverse)
  • Generative svar (kræver AI Builder til svaranalyse og Application Insights for at få flere oplysninger om, hvorfor der ikke blev genereret et svar)
  • Multi-turn testtype er en særlig testtype. Den består af et sæt testcases af almindelige typer, der kører i en angivet rækkefølge i den samme samtalekontekst. Brug test med flere sving til at teste scenarier fra ende til anden og til at teste brugerdefinerede agenter med generativ orkestrering.
  • Planvalidering gør det muligt for udviklere at validere, at deres brugerdefinerede agenter, der bruger generativ orkestrering, inkluderer de forventede værktøjer. I stedet for at evaluere, hvad agenten siger, kontrollerer denne testtype, at agentens dynamiske plan indeholder de forventede værktøjer (værktøjer, handlinger og forbundne agenter) til en forudbestemt grænse.

Lær mere om testtyper i Configure tests i Copilot Agent Kit.

Skærmbillede af oplysninger om resultat af testkørsel, herunder grafik, der viser succesrate og ventetid for alle testkørsler.

Næste trin

Konfigurer en agent til testautomatisering

  • Last updated on