Suorita arviointeja ja tarkastele tuloksia

Suorita arviointeja ja analysoi tuloksia optimoidaksesi agenttisi käyttäytymisen ja varmistataksesi agentin täyttävän liiketoimintasi ja laatuvaatimukset. Voit myös ajaa testisarjan useita kertoja nähdäksesi muutoksia ajan myötä, kun parannat agenttiasi.

Tässä artikkelissa kerrotaan, miten voit aloittaa arvioinnit ja tarkastella tuloksia Copilot Studio käyttöliittymän avulla. Voit suorittaa arviointeja myös käyttämällä Power Platform -ohjelmointirajapintaa tai yhdysjohtoa joka lisätään työkaluina tai osana Copilot Studio tai Power Automate automaatiotyönkulkuja.

Testitulokset ovat käytettävissä Copilot Studiossa 89 päivän ajan. Jos haluat tallentaa testituloksesi pidemmäksi aikaa, vie tulokset CSV-tiedostoon.

Suorita testi testijoukolla

Kun olet luonut testisarjan, suorita testi käyttämällä kyseistä joukkoa. Tai suorita testit uudelleen käyttämällä samaa joukkoa tulosten vertailuun ajan ja iteraatioiden välillä. Testi voi kestää jopa muutaman minuutin. Voit suorittaa vain yhden testin kerrallaan.

1. Mene agenttisi arviointisivulle .

   

2. Suorita testi tekemällä jokin seuraavista toiminnoista:

   • Testisetin luomisen tai muokkauksen lopuksi valitse Arvioi.
   • Viimeisimmät tulokset -osiossa suorita testi uudelleen tekemällä jokin seuraavista vaiheista:
     • Vie hiiren osoitin arvioitavan testituloksen päälle ja valitse sitten Laske testijoukko uudelleen -vaihtoehdon ▶ vieristä Arvioi agentti.
     • Valitse testitulos avataksesi sen ja valitse sitten Suorita-kuvake ▶Arviointiyhteenveto-ruudussa .

   Jos testijoukon käyttäjäprofiilissa on rikkinäisiä yhteyksiä tai testijoukossa ei ole käyttäjäprofiilia, Hallitse profiilia ja yhteyksiä -valintaikkuna avautuu. Sinun ei tarvitse käyttää käyttäjäprofiilia testaukseen. Jos kuitenkin käytät profiilia, kaikkien yhteyksien täytyy toimia. Lue lisää käyttäjäprofiilien ja yhteyksien hallinta -osiosta.

   Tärkeää

   Kun valitset käyttäjäprofiilin, voit tarkistaa ja todentaa kaikki välittäjäsi käyttämät liittimet. Jos valitset tilin sen lisäksi, jolla kirjaudut Copilot Studio:hen, kuten testitilin, Copilot Studio tunnistaa kyseisen käyttäjäprofiilin ja hakee käyttäjän olemassa olevat yhteydet. Voit konfiguroida, tarkistaa ja tallentaa nämä yhteydet ennen arviointia. Lue lisää käyttäjäprofiilien ja yhteyksien hallinta -osiosta.

Arvioinnin suorittaminen kestää muutamia minuutteja. Testitulokset käsitellään reaaliaikaisesti rivi riviltä. Näet kunkin arviointitestitapauksen tuloksen järjestyksessä, kun ne luodaan. Testitapausten reaaliaikainen käsittely antaa välittömän näkyvyyden laatutrendeihin ja mahdollisiin virheisiin arvioinnin suorittamisen aikana. Voit pysäyttää suorittamisen milloin tahansa, jos ongelmia ilmenee. Ilmoitus tulee näkyviin Copilot Studio kun täysi arviointi on valmis ja yhteenvetotulokset ovat valmiita.

Tutustu testituloksiin

Aina, kun suoritat testijoukon sisältävän arvioinnin, Copilot Studio:

1. Simuloi keskusteluja agentin kanssa käyttämällä yhdistettyä käyttäjätiliä ja lähettää testitapauksen jokaisen kysymyksen agentille.

2. Kerää agentin vastaukset.

3. Mittaa ja analysoi jokaisen vastauksen onnistumista. Jokainen testitapaus saa testitapauksen kriteerien perusteella Läpäisy-, hyläty-, virhe- tai virhe-arvon.

4. Määrittää läpivientinopeuden pistemäärän testijoukon Läpivienti/epäonnistuu -prosenttiosuuden perusteella.

Voit nähdä jokaisen testisarjan läpäisyprosentin agenttisi arviointisivulla , kohdassa Viimeisimmät tulokset. Nähdäksesi lisää testiajoja, valitse Näytä kaikki.

Katso ja arvioi yksityiskohtainen analyysi testitapauksesta

Kun avaat testituloksen, näet testisuorituksen yksityiskohdat, listan testissä käytetyistä kyselyistä, agentin vastauksen sekä Pass or Fail -pisteet.

Valitse testitapaus listasta nähdäksesi yksityiskohtaisen arvion jokaisesta vastauksesta. Valitse Kaikki, Hyväksy tai Epäonnistu suodattaaksesi tapauksia tuloksen mukaan.

Arviointiin sisältyvät odotetut ja todelliset vastaukset, testituloksen taustalla olevat perustelut sekä tiedot, aiheet ja työkalut, joita agentti käytti vastaamiseen.

1. Arvioinnin tulokset. Tämä esimerkki näyttää laatuarvioinnin tuloksen yksityiskohdat.

2. Valitse Näytä aktiivisuuskartta nähdäksesi agenttisi syötteet, päätökset ja tulokset testitapauksen sisällä. Lue lisätietoja kohdasta Näytä istunnon toiminta.

3. Testikysymyksen transkriptio ja agentin vastaus.

4. Resurssit, joita agentti käytti testissä. Valitse yksi avataksesi sen.

Voit antaa Microsoftille palautetta siitä, miten hyvin arviointi onnistui kussakin testitapauksessa. Tämä palaute koskee nimenomaan sitä, kuinka tehokkaasti valittu arviointimenetelmä arvioi vastauksen, ei sitä, oliko vastaus oikea. Palautteesi auttaa parantamaan arviointien laatua ja tarkkuutta ajan myötä.

Arvion arvioimiseksi valitse peukku tai peukku testitapaustietojen paneelissa. Kun palautelomake avautuu, anna lisätietoja arviostasi ja valitse sitten Lähetä.

Saman agentin useat tekijät voivat suorittaa arviointitestijoukon useita kertoja. Tekijät voivat suorittaa arviointeja muiden tekijöiden luomien testijoukkojen avulla. Tekijät näkevät minkä tahansa testisuorituksen suoritustilan ja tulosarvot, mutta vain testisuorituksen aloittanut tekijä voi tarkastella agentin vastauksia ja tulosselityksiä.

Vastausaika arvosteluun

Copilot Studio mittaa automaattisesti jokaisen vuorovaikutuksen vasteajan arvioinnin aikana. Vuorovaikutus on yksittäisen käyttäjän pyyntö ja agentin vastaava vastaus. Vasteaika on lopusta päähän -aika sekunteina siitä, kun agentti vastaanottaa pyynnön, siihen hetkeen, kun se palauttaa vastauksen. Se sisältää kaikki perustelut, työkalukutsut, liitinkutsut, kyselyt tai työnkulun vaiheet, jotka agentti suorittaa ennen vastaamista.

Vastausajan näkemiseksi valitse testitapauskysymys Tulokset-ikkunasta. Vastausaika-arvo näkyy sekunneissa agentin vastauspaneelissa vastauksen jälkeen.

Yksittäisessä vastaustapauksessa testitapauskysymys ja agentin vastaus muodostavat yhden vuorovaikutuksen. Keskustelutestitapauksessa voi olla useita vuorovaikutuksia, ja Copilot Studio mittaa jokaisen erikseen.

Käytä vasteaikaa hitaampien vuorovaikutusten tunnistamiseen ja suorituskyvyn vertailuun agentin vaihdon jälkeen. Vasteaika on pelkkä mittaus. Se ei määritä läpäisy - tai hylätty-tulosta eikä vaikuta testijoukon läpäisyprosenttiin.

Vertaa testituloksia

Haluat testata yhtä agenttiversiota ja nähdä suorituskyvyn muutokset ennen ja jälkeen muutosten tekemisen. Voit verrata kahta suoritusta samasta testisarjasta käyttämällä Comparison with -työkalua.

Vertailun näkemiseksi sinun täytyy ajaa sama testisarja vähintään kahdesti.

1. Agenttisi arviointisivulla , kohdassa Viimeisimmät testitulokset, avaa testiajo , jota haluat käyttää vertailun pohjana.

2. Valitse Vertaa-pudotusvalikko ja valitse testiajon aika ja päivämäärä, jonka haluat verrata tällä hetkellä avoimiin testituloksiin.

Testitapauslistassa nuolet näyttävät, mitkä testitapaustulokset paranivat vaihtamalla epäonnistumisesta läpäisemään , tai hylättyinä siirtymällä läpäisemisestä epäonnistumiseen.

Valitse testitapaus nähdäksesi lisätietoja. Arviointi-yhteenvetopaneelissa näet suoran vertailun testituloksista, jossa nykyisen kokeen tulos on päällä.

Vientitestitulokset

Voit viedä testitulokset CSV-tiedostoon. Tiedosto listaa kysymyksen, odotetun vastauksen (jos sovellettavissa), testimenetelmän, läpäisypisteet (jos sovellettavissa), agentin vastauksen, testituloksen ja analyysin jokaiselle testitapaukselle.

1. Mene agenttisi arviointisivulle .
2. Viimeisimmät tulokset -osiossa voit viedä testituloksen tekemällä jommankumman seuraavista vaiheista:
   • Vie kursori vietävän testitapauksen päälle, valitse kolmipistevalikkoa (...) ja sitten valitse Vie testitulokset.
   • Valitse testitapaus avataksesi sen, valitse kolme pistettä (...) Arviointi-yhteenvetopaneelista ja valitse sitten Vie testitulokset.

Testitulokset latautuvat testisarjan nimeksi.csv.

Jaa arviointeja agentin katsojan roolin avulla

Jos olet agentin omistaja ja haluat antaa pääsyn vain agenttisi arviointisivulle , jaa agentti ja ota agentin katsojan jakamisrooli käyttöön. Tämän roolin käyttäjät voivat hallita arviointeja tietylle agentille ilman pääsyä agenttiin itseensä.

Käyttäjät ovat antaneet agentin katsojan roolin arviointeja varten:

• Katso ja suorita muiden valmistajien arviointitestisarjat.
• Nimeä arvostelut uudelleen, peruuta ja poista.
• En voi luoda tai päivittää heidän kanssaan jaettuja arviointitestisettejä.

Roolin määrittäminen:

1. Avaa agentti ja valitse kolme pistettä (...) >Jaa.
2. Uusien käyttäjien ja sovellusten identiteettien kohdasta lisää käyttäjä tai ryhmä. Tai valitse olemassa oleva käyttäjä listalta.
3. Kohdasta Has permissions for this agent as, valitse roolilistasta Agentin katseluohjelma.
4. Valitse Jaa jakaaksesi agentin.

Käyttäjä voi avata agentin ja nähdä Arvioinnit ja Seuranta-välilehdet. Sen jälkeen he voivat hallita arviointeja Arviointi-välilehdellä.

Lue lisää agentin arvioiden jakamisesta muiden käyttäjien kanssa.