Automatiser agentevalueringer med Power Platform-API

Copilot Studio gir utviklere verktøy for kontinuerlig å evaluere agentens ytelse ved å kjøre automatiserte tester mot forhåndsdefinerte testsett ved bruk av Power Platform REST-API. Ved å bruke REST-API-en kan du programmessig utløse agentevalueringer som en del av utviklingsprosessen, for eksempel under agentoppdateringer, versjonsvalidering eller regresjonstesting.

Automatiserte evalueringer hjelper deg med å:

  • Valider agentens kvalitet etter endringer.
  • Kjør gjentakende ytelsessjekker mot produksjons- eller oppstillingsagenter.
  • Integrer agenttesting i CI/CD-rørledninger.
  • Oppdag regresjoner i agentvirkemåte tidlig i utviklingssyklusen.

Forutsetning

  • Du har bot-ID-en og miljø-ID-en for målagenten.
  • Et testsett opprettet i Copilot Studio for den aktuelle agenten.
  • Et brukertilgangstoken utstedt av Microsoft Entra ID (OAuth 2.0). For å få tokenet kan du se Autentisering.
    • Skaff tilgangstokenet ved å bruke klient-ID-en til en appregistrering som har riktig tilgangsomfang tildelt under Power Platform-API-en.

Oversikt over kjøring av evalueringer med REST-API

For å kjøre en evaluering ved å bruke Power Platform-API-en følg du disse generelle trinnene:

  1. Fullfør forutsetningene.
  2. Finn og hent testsett-ID-en for testsettet du vil bruke.
  3. Kjør evalueringen.
  4. Hent resultatene ved å bruke ID-en for evalueringskjøringen.

Når forespørselen er vellykket, kjører evalueringen asynkront og gir resultater som du kan gjennomgå i Copilot Studio.

API-operasjoner for automatisering av evalueringer

Copilot Studio støtter REST-API-operasjoner som du kan bruke for å programmessig utløse evalueringer mot agenten din ved å bruke et eksisterende testsett.

Hvis du vil ha mer informasjon om hvordan og når du skal bruke Power Platform API, kan du se:

Få testsett for agenter

  • Endepunkt: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • Formål: Hent en liste over testsett-ID-er og andre detaljer for en spesifikk agent.
  • Svar: Returnerer en liste kalt value av testsett med følgende informasjon:
    • auditInfo: Tidsstempler og bruker-ID-er for opprettelse og endring av hvert testsett
    • displayName: Navnet på testsettet.
    • id: ID-en til testsettet. Bruk i Start en evaluering av agent for å velge hvilket testsett du skal bruke.
    • description: Beskrivelsen av testsettet.
    • state: Statusen for testsettet. Et brukbart testsett har statusen Active.
    • totalTestCases: Antall testsaker i testsettet.

Finn ut mer i Testsett for evaluering av listeoppretter.

Hent detaljer for agenttestsett

  • Endepunkt: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
  • Formål: Hent informasjon for et spesifikt testsett ved bruk av testsett-ID.
  • Svar: Returnerer informasjonen om ett element i svarmatrisen fra Hent agenttestsett.

Finn ut mer i Testsett for evaluering av listeoppretter.

Start en agentevaluering

  • Endepunkt: POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
  • Formål: Utfør en evaluering av et testsett ved å bruke testsettets id. Du kan også inkludere en brukerprofil for autentisering av tilkoblinger under evalueringskjøringen. Bruk mcsConnectionId for å spesifisere brukerprofilen. Hvis du ikke legger til en mcsConnectionId i kallet, kjøres evalueringen uten autentisering.
  • Svar: Returnerer følgende informasjon:
    • runId: ID-en for evalueringskjøringen. Bruk denne ID-en for å hente evalueringsdetaljer.
    • lastUpdatedAt: Når statusen for kjøringen sist ble oppdatert.
    • executionState: Status for kjøringen mens evalueringen kjører.
    • state: Nåværende tilstand til kjøringen.
    • totalTestCases: Totalt antall testtilfeller i testsettet som brukes til evalueringen.
    • testCasesProcessed: Totalt antall testsaker evaluert ved siste oppdatering.

Finn ut mer i Kjør testsett for evaluering av kjøringsutvikler.

Få agentens testkjøringer

  • Endepunkt: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • Formål: Hent en matrise av alle tidligere kjøringer.
  • Svar: Hvert element i matrisen inneholder de samme verdiene som angitt i Hent detaljer for agenttestkjøring.

Mer informasjon finner du i Testkjøringer for evaluering av listeoppretter.

Hent detaljer om agenttestkjøring

  • Endepunkt: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
  • Formål: Hent detaljene for en evaluering ved å bruke runId for den aktuelle evalueringskjøringen.
  • Svar: Returnerer følgende informasjon:
    • id: ID-en for evalueringskjøringen. Bruk denne ID-en for å hente evalueringsdetaljer.
    • environmentId: ID-en for miljøet for agenten.
    • cdsBotId: ID-en til målagenten.
    • ownerId: ID-en til brukeren som startet evalueringskjøringen.
    • testSetId: ID-en til testsettet som ble brukt til evalueringen.
    • state: Fremdriftsstatus for evalueringen.
    • startTime: Når evalueringen startet.
    • endTime: Når evalueringen var ferdig, hvis den var ferdig.
    • name: Navnet på evalueringen.
    • totalTestCases: Totalt antall testsaker i testsettet.
    • mcsConnectionId: Tilkoblings-ID-en for Copilot Studio-tilkoblingen til brukerprofilen som brukes for evalueringskjøringen. null hvis ingen brukerprofil er koblet til.
    • testCasesResults: Listen over testsaker i evalueringskjøringen. Inkluderer:
      • testCaseId: ID-en til testtilfellet.
      • state: Testsakens fullføringsstatus.
      • metricsResults: Detaljene og resultatene for hver testmetode som er brukt i testsaken. Følgende er inkludert:
        • type: Testmetoden.
        • result: Det endelige testresultatet for denne testsaken. Følgende er inkludert:
          • data: Detaljene for resultatet. De eksakte verdiene avhenger av testmetoden. Se Power Platform-API-dokumentasjonen for mer informasjon. For en generell kvalitetstest vil svaret inkludere følgende:
            • abstention: Om agenten svarte på spørringen.
            • relevance: Om svaret var relevant.
            • completeness: Om svaret er fullstendig.
        • status: Statusen til testsaken.
        • errorReason: Hvis det oppstod en feil, årsaken til feilen.
        • aiResultReason: KI-forklaringen av testsakresultatet.

Les mer i Hent testkjøring for evaluering av utvikler.

Bruk en Microsoft Studio-koblings-ID for evalueringer

For Start en agentevaluering kan du valgfritt legge til en Microsoft Studio-kobling-ID i kallet som brukerprofil for evalueringen. Slik finner du mcsConnectionId:

  1. Gå til Power Automate.
  2. Åpne Tilkoblinger-siden.
  3. Velg Microsoft Copilot Studio-koblingen.
  4. Kopier mcsConnectionId fra nettadressen: .../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details
  • Last updated on