Mål virkningen af dine agenter

Når din agent går live, skal du flytte dit fokus fra hensigt til beviser. I denne artikel beskrives de fire værdifaktorer, der organiserer din måling, de metriske tabeller, du kan bruge, Microsoft publicerede roi-beregning (Return on Investment), og et referenceeksempel.

Hvorfor bliver målingen hårdere efter lanceringen

Tre mønstre svækker værdihistorien, når en agent starter. Identificer dem tidligt for at designe omkring dem.

• Måling, der stopper ved pilot. Instrumenteringen er god under pilotfasen og forringes derefter gradvist, når agenten sættes i produktion. Løs dette problem ved at integrere måling i selve udrulningsarbejdsprocessen, så alle produktionsagenter fortsat udsender de signaler, som din anmeldelse afhænger af.
• Aktivitet, der ikke er bundet til resultater. Sessioner og brugerantal viser brug, men de er ikke de samme som værdien. Få alle kpi'er (Key Performance Indicator) til at spore tilbage til en værdifaktor, som virksomheden interesserer sig for.
• Tidsbesparelsesfælden. Kravet om værdi baseret på teoretiske tidsbesparelser alene underminerer troværdigheden. Byg en kæde af beviser fra indførelse via driftsmæssige KPI'er til forretningsmæssige resultater, så ROI-historien er realistisk og forsvarlig.

Organiser værdi omkring fire værdifaktorer

Forretningsværdien fra agenter falder typisk i fire kategorier. Denne vejledning organiserer sine målepunkter, tabeller og oversigter over brugscases omkring disse værdifaktorer, så du kan gruppere hvert signal i et af dem.

Vælg kvantitative målepunkter, der svarer til hver værdidriver

Din økonomifunktion og intern revision kan afstemme kvantitative nøgletal op mod de autoritative kildesystemer.

Hent kvalitative signaler, som tallene går glip af

Kvalitative signaler registrerer, hvilke kvantitative data der ikke kan. De forbinder samtalen med, hvordan folk oplever agenten, og afslører ofte nye designideer, der forbedrer alle fire værdifaktorer. Organiser dit kvalitative program på samme måde, som du organiserer dit kvantitative program efter værdifaktor.

Brug førende og bagudskuende indikatorer til at holde kursen.

Indikatorer, der halter bagefter, bekræfter resultaterne, når de er opstået. Førende indikatorer viser, om du er på vej tidligt nok til at justere. Medtag mindst én af hver for hver værdifaktor i din kvartalsvise gennemgang, så du handler, før en forbier bliver en overraskelse.

Anvend Microsofts Agent Assisted Hours-formel på din agent

Formlen Agent Assisted Hours (AAH), der bruges i hele denne artikel, er den samme formel Microsoft publicerer på Copilot Studio-agentrapport i Viva Insights. Siden indeholder også indbyggede kilder til formlen, multiplikatoren for standardtidsbesparelser, standardtimesatsen og vægtningen af sessionsresultater.

Formel for samtaleagenter

Agentassisterede timer = (vidensreferencer + vægtede sessioner uden vidensreferencer) × tidsbesparelsesmultiplikator ÷ 60

• Hver reference til videnkilder tæller én gang og ganges med multiplikatoren for tidsbesparelser.
• Sessioner uden vidensreferencer vægtes efter resultat: løste tæller som 1,0, og eskalerede eller afbrudte tæller som 0,7.
• Multiplikatoren for tidsbesparelser er 6 minutter (Kilde: Microsoft research om opgaver til hentning af oplysninger).

Formel for selvstændige agenter

Agent Assisted Hours = (Videnreferencer × hentningsbesparelser + tidsbesparelser for handling + vellykkede sessioner uden handlinger × generiske besparelser) ÷ 60

Brug denne variant, når din agent kører på en hændelsesudløser og fuldfører handlinger på egen hånd. Hentnings-, handlings- og generiske multiplikatorer kan tilpasses i rapportberegneren for Copilot Studio-agenter.

Agent assisteret værdi

Agent assisteret værdi = agentens assisterede timer × timesats

Standardsatsen pr. time er 72 USD baseret på data fra det amerikanske bureau for arbejdsstatistik om arbejdsgiveromkostninger for medarbejderkompensation. Hvis du vil ændre satsen, så den afspejler din egen fuldt indlæste kompensation, skal du vælge beregneren på kortet Agent Assisteret værdi i Copilot Studio-agentrapport.

Eksempel

I følgende eksempel bruges en kundeserviceagent, der håndterer 10.000 engagerede sessioner i løbet af en måned. Af disse sessioner nævner 5.000 mindst én reference til videnkilder, i gennemsnit to referencer pr. session. De resterende 5.000 sessioner nævner ikke en videnreference og er opdelt i 3.000, der løses, og 2.000, der eskalerer eller opgiver.

1. Tæl videnreferencerne: 5.000 citere sessioner × to referencer hver = 10.000 referencer.
2. Vægt sessionerne uden vidensreferencer: (3.000 × 1.0) + (2.000 × 0.7) = 4.400.
3. Tilføj dem sammen: 10.000 + 4.400 = 14.400.
4. Anvend multiplikatoren, og konvertér til timer: 14.400 × 6 ÷ 60 = 1.440 timer pr. måned.
5. Oversæt til værdi: 1.440 × $72 = $103.680 pr. måned eller ca. 1,24 mio. USD om året.

Agenten returnerer 1.440 timers repræsentativ kapacitet hver måned. Disse timer frigør teamene til at fokusere på komplekse sager, proaktiv kundeopsøgende indsats, coaching og arbejde, der kræver stor dømmekraft, og som forbedrer kundefastholdelsen over tid.

Maksimer den værdi, din organisation får fra agenter

Licensen er ikke investeringen. Adoption er. Ujævnt investeringsafkast peger normalt på huller i uddannelse, rollemodellering eller justering af arbejdsprocesser, ikke til et teknologigab. Adresser disse områder efter virkningsrækkefølge.

1. Gør struktureret, rollebaseret oplæring til en forudsætning, og oplær ledere først, så de kan lede ændringer for deres teams.
2. Forankr hver agent til en navngiven arbejdsproces med høj volumen, fordi agenter, der afleder en bestemt Tier-1-opgave, viser et klart investeringsafkast hurtigere end agenter, der er målrettet mod generisk produktivitet.
3. Få ledere til at indføre model, fordi synlig brug af ledelsen er den stærkeste enkeltstående accelerator for rutinemæssig indføring på tværs af organisationen.
4. Opret delte promptbiblioteker, og opdater dem månedligt baseret på de temaer, der er observeret i Copilot Studio Analytics.
5. Levér synlige gelændere, fordi brugerne har tillid til styring, som de kan se.
6. Arbejd en udvidelsesrytme, hvor programmet behandles som tilbagevendende kvartalsarbejde. Vælg en ny arbejdsproces med høj volumen, byg eller konfigurer agenten, mål i forhold til den oprindelige plan i 90 dage, gennemse med sponsoren, og beslut, om du vil skalere den eller trække den tilbage.

Få mere at vide:

• Modenhedsmodel til indførelse af agentisk kunstig intelligens

Næste trin

Præsenter dine beregninger af målepunkter og investeringsafkast ved hjælp af de tre måleniveauer i Copilot Studio, Microsoft rapporteringsværktøjer og en scorecardskabelon til administration.