Merk
Tilgang til denne siden krever autorisasjon. Du kan prøve å logge på eller endre kataloger.
Tilgang til denne siden krever autorisasjon. Du kan prøve å endre kataloger.
[Denne artikkelen inneholder dokumentasjon for forhåndsversjonen og kan bli endret.]
Temaer grupperer brukerrelaterte spørsmål som utløser generative svar. Ved å gruppere relaterte spørsmål hjelper temaer deg med å organisere innsikt i kundens hensikter, identifisere vanlige emner og fokusere på områder som trenger forbedring. Du kan utforske individuelle spørsmål innenfor et tema og overvåke ytelsen for å forstå målinger på temanivå.
Temaer-funksjonen analyserer automatisk alle uklassifiserte spørsmål som har utløst generativ kunstig intelligens-svar den siste uken, og foreslår temaer basert på denne analysen. Denne prosessen utføres ukentlig. Mellom ukentlige temaforslag gjennomfører funksjonen daglig klassifisering av nye spørsmål som utløser generativ kunstig intelligens-svar, og legger til disse dataene i temametrikkene. Listen over foreslåtte temaer oppdateres jevnlig, slik at temaene dine forblir relevante og reflekterer de nyeste brukerdataene. Denne automatiske oppdateringen sparer deg for tid ved å:
- Kontinuerlig evaluere temarelevans mot nye data.
- Automatisk klassifisere individuelle spørsmål i temaer.
- Automatisk henting av rå måleverdidata for hvert tema.
- Beregne aggregerte måleverdidata for hvert tema.
Viktig
Denne artikkelen inneholder dokumentasjon for Microsoft Copilot Studio-forhåndsversjonen og kan bli endret.
Evalueringsfunksjonalitet er ikke ment for produksjonsbruk og kan ha begrensninger. Disse funksjonene er tilgjengelige før en offisielle utgivelsen slik at du kan få tidlig tilgang og gi tilbakemeldinger.
Hvis du skal bygge en produksjonsklar agent, kan du se Oversikt over Microsoft Copilot Studio.
Forutsetning
Slik får du mest mulig ut av Temaer-funksjonen, inkludert muligheten til å se hvilke spørsmål og svar som inngår i hvert tema:
Du trenger sikkerhetsrollen Bot Transcript Viewer for å se listen og dens måleverdier. Bare administratorer kan tildele denne rollen tildeling av Bot-transkripsjonsvisning sikkerhetsrolle under agentdeling.
Miljønivåinnstillingene for lagring av samtaleutskrifter i Dataverse er aktivert.
Foreslåtte temaer og klassifiserte spørsmål
Copilot Studio foreslår temaer basert på logg over spørsmål som er stilt i det siste. Ved å tilpasse hvert foreslåtte tema til organisasjonens struktur og kundeopplevelsesstrategi kan du få bedre innsikt gjennom temaspesifikke nøkkelindikatorer (KPI-er). Dette dypere detaljnivået gjør det lettere å finne hvor agenter underpresterer.
Temaer hjelper utviklere med å forstå hvilke spørsmål brukerne stiller til agenten, og hvordan agenten yter. Når temabasert analyse kjøres for første gang, analyserer Copilot Studio alle spørsmål fra den siste uken og foreslår opptil 10 temaer som grupperer brukernes spørsmål etter likhet. Hvert tema inkluderer nøkkeltall som totalt antall spørsmål, svarprosent og brukerreaksjon. Den valgte analyseperioden justerer de viste dataene i listen over temaer.
Etter den første kjøringen klassifiserer Copilot Studio nye spørsmål til eksisterende temaer på løpende, daglig basis, og genererer en ny liste med foreslåtte temaer ukentlig.
Notat
- Minst 50 spørsmål med generative svar må logges i løpet av de siste syv dagene før Copilot Studio genererer foreslåtte temaer.
- Et spørsmål som utløser et generativt svar fra kunstig intelligens kan klassifiseres i mer enn ett tema. Dette scenarioet kan bli mer vanlig i Generativ iverksetting-modus, hvor et agentsvar kan komme fra flere forskjellige kilder.
- Alle spørsmål som forblir uklassifiserte, blir plassert i et uklassifisert tema.
- Den ukentlige forslagskjøringen kan ta noen minutter å fullføre. I denne perioden er Temaer-delen utilgjengelig for bruk.
Temaer-listen
Som standard viser Temaer-listen de fem øverste temaene, rangert etter totalt antall spørsmål klassifisert til hvert tema. Velg Se alle for å utvide listen og vise alle temaer.
Med automatiske ukentlige temaforslagskjøringer og daglig spørsmålsklassifisering utvikler Temaer-funksjonen seg automatisk og tilpasser seg endringer i brukeratferd.
Temaer-listen viser måledata for hvert oppførte tema.
| Kolonne | Beskrivelse |
|---|---|
| Name | Navn på temaet. |
| Totalt antall spørsmål | Totalt antall spørsmål klassifisert under dette temaet for den konfigurerte tidsperioden. |
| Besvarte spørsmål | Andelen av totalt antall spørsmål som resulterer i et svar på brukerens spørsmål. |
| Svarkvalitet | Andelen av summen av alle svar (basert på et utvalg spørsmål) som har et svar av Good kvalitet. |
| Reaksjoner | Råantall av positive (tommel opp) og negative (tommel ned) reaksjoner fra spørsmålene klassifisert under hvert tema. |
Hold musepekeren over et tema for å se Evaluer-knappen. Finn ut mer under Om agentevaluering.
Notat
Hvorfor er det «Ubesvarte spørsmål» i temaet mitt når alle klassifiserte spørsmål utløste generativ kunstig intelligens-svar?
Per definisjon kan kun spørsmål som utløser et generativt kunstig intelligens-svar, klassifiseres under et tema. Men å utløse et kall til generative svar er ikke det samme som å ha et svar på en brukerspørring.
For eksempel er det vanlig at det finnes et emne for samtaleforbedring som er koblet til en kunnskapskilde. I dette tilfellet, hvis en intensjon ikke blir gjenkjent, kan emnet bli utløst, noe som kaller kunnskapskilden, selv om det ikke finnes noe svar på spørsmålet i den kunnskapskilden.
Drill ned på et tema
Viktig
For å få tilgang til drill ned-funksjonalitet må begge av følgende være oppfylt:
Følgende miljøinnstillinger er aktivert:
- Tillat at agenteiere og redaktører ser øktutskrifter fra samtalesamhandlinger i agentene sine.
- Tillat at samtaleutskrifter og tilknyttede metadata lagres i Dataverse.
For mer informasjon, se Konfigurer transkripsjonsinnstillinger for ett enkelt miljø.
Sikkerhetsrollen Bot Transcript Viewer tildeles brukeren. Hvis du vil ha mer informasjon, kan du se Legg til brukere i en sikkerhetsrolle.
For å drille ned til spørsmålene som er gruppert i et tema, velg temaet i Temaer-listen. Når du driller ned, åpnes et panel som er spesifikt for det valgte temaet, som viser statistikk både på tema- og enkeltspørsmålsnivå.
Notat
Temaer-listen inkluderer:
- De 100 nyeste spørsmålene som er klassifisert i hvert tema.
- Spørsmål fra de siste 30 dagene, uavhengig av den konfigurerte tidsperioden. Hvis den konfigurerte tidsperioden er helt utenfor de siste 30 dagene, viser Copilot Studio en varsling om at listen ikke er tilgjengelig.
I drill ned-panelet for et tema vises måledata på temanivå først.
| Måledata på temanivå | Description |
|---|---|
| Totalt antall spørsmål | Totalt antall spørsmål klassifisert under dette temaet som utløste generativ kunstig intelligens-svar for den konfigurerte tidsperioden. |
| Besvarte spørsmål | Andel av dette temaets totalt antall spørsmål som resulterte i svar på brukerens spørsmål. |
| Ubesvarte spørsmål | Andel av dette temaets totalt antall spørsmål som ikke resulterte i svar på brukerens spørsmål. |
| Reaksjoner | Råantall positive (tommel opp) og negative (tommel ned) reaksjoner fra spørsmål som er klassifisert til dette temaet, registrert i tilbakemeldingsmekanismen i Learn. |
For å vise en oversikt over svarkvaliteten for et utvalg av besvarte spørsmål, og alle kunnskapskilder det refereres til i dette temaet, velg Se detaljer.
På Temamåledata-panelet, for å se mer informasjon om en hvilken som helst svarkvalitetsverdi på temanivå, under Svarkvalitet, hold musepekeren over et enkelt søylesegment. Verktøytipset inkluderer verdien av segmentets relative vekting og antall spørsmål som er utvalgt for å komme frem til denne verdien.
For mer informasjon på nivået til en av de oppførte kunnskapskildene i temaet, velg en individuell kunnskapskilde under Bruk av kunnskapskilder. Verktøytipset inkluderer:
- Totalt antall spørsmål som henviste til denne kunnskapskilden, samt antall tommel opp- og tommel ned-reaksjoner.
- Et stablet stolpediagram som viser nedbrytingen av kvaliteten på svarrelative vektinger for spørsmål som henviser til denne kunnskapskilden. Hold pekeren over et segment av stolpediagrammet for å se verdien av segmentets relative vekting og antall spørsmål som er utvalgt for å komme frem til denne verdien.
En temabasert spørsmålsliste gjenspeiler alle spørsmål som utløste generativ kunstig intelligens-svar og ble klassifisert under dette temaet, og viser måledata per spørsmål.
Måledata på spørsmålsnivå inkluderer:
| Dimensjon eller måledata på spørsmålsnivå | Description |
|---|---|
| Spørsmål (dimensjon) | Spørsmål som utløste et generativ kunstig intelligens-svar klassifisert under dette temaet. |
| Besvart? | Svar på spørsmålet om brukerens spørsmål ble besvart eller ikke. Mulige verdier er Answered og Unanswered. |
| Svarkvalitet1 | Svar på spørsmålet om hvilken kvalitet svaret på brukerens spørsmål hadde. Mulige verdier er Poor og Good. |
| Reaksjon | To parametere: en boolsk tommel opp/tommel ned-måling og en tekstbasert kommentar-parameter. |
| Dato | Dato da spørsmålet ble stilt. |
| Kunnskapskilde | Kommadelt liste over kunnskapskilder som dette spørsmålet refererer til i dette temaet. |
1 Svarkvalitet er ikke alltid tilgjengelig og vises kun hvis spørsmålet er utvalgt for kvalitetsanalyse.
Hvis du vil, kan du utføre følgende handlinger på siden for den temaspesifikke spørsmålslisten:
- Legg til flere filtre for å snevre inn listen over spørsmål ytterligere ved hjelp av listens dimensjonale filtre.
- Evaluer de oppførte spørsmålene i henhold til kriteriene du definerer i evalueringens testmetode.
- Last ned de oppførte spørsmålene som en .csv-fil.
- Vis detaljer knyttet til et spesifikt agentsvar.
Velg et hvilket som helst spørsmål i listen for å vise mer informasjon om spørsmålet i et panel for spørsmålsdetaljer. Dette panelet omfatter:
| Detaljert parameter på spørsmålsnivå | Description |
|---|---|
| Tidsangivelse | Tidsstempel for når spørsmålet sist ble besvart. |
| Brukerspørring | Spørsmålet som ble stilt. |
| Svar | Det generative KI-svaret. |
| Tommel opp-/Tommel ned-verdi | Verdi for den siste forekomsten av dette spørsmålet for tommel opp/tommel ned-parameteren. |
| Kommentar | Valgfri ekstra tekstkommentar, angitt av brukeren, i tillegg til tommel opp/tommel ned-reaksjonen. |
| Svarkvalitet1 | Svar på spørsmålet om hvilken kvalitet svaret på brukerens spørsmål hadde. Mulige verdier er Poor og Good. |
| Årsak2 | I tilfellet der svarkvaliteten er Poor, forklarer denne parameteren hvorfor. |
1 Svarkvalitet er ikke alltid tilgjengelig og vises kun hvis spørsmålet er utvalgt for kvalitetsanalyse.
2 Hvis svarkvaliteten er Good, eller hvis spørsmålet ikke ble utvalgt, har årsaksparameteren ingen verdi.
Vurder agentens svar basert på tema
Notat
Når du velger Evaluer for et tema som er oppført på Temaer-siden, oppretter du et nytt testsett på temanivå. Testsettet inkluderer alle spørsmål som er klassifisert til det temaet, opptil 100 spørsmål. For å filtrere listen ytterligere, før du oppretter et evalueringstestsett, må du først drille ned i temaet. Deretter kan du bruke filtrering på listen. Etter at du har brukt all ønsket filtrering, velg Evaluer fra siden med spørsmålslisten.
Du kan teste agentens svar på spørsmål knyttet til et tema ved å bruke agentevaluering (forhåndsversjon).
Temabaserte evalueringer tester spesifikke deler av agentens omfang. Hvis du for eksempel har en kundeserviceagent, kan du spore svarkvaliteten for spørsmål om fakturering og betaling separat fra andre bruksområder, som feilsøking.
Få mer informasjon om å opprette testsett fra et tema.
