Telemetria a livello di agente con Application Insights

Note

Le funzionalità in questo articolo sono alimentate dallo standard harness, che utilizza le opzioni di fatturazione descritte in Licensing per gli agenti alimentati dallo standard harness. Impara come accedere alle funzionalità standard negli agenti standard Access e nei flussi degli agenti.

Questo articolo spiega come acquisire dati di telemetria a livello di agente dal tuo agente Copilot Studio per usarli in applicazione Azure Insights.

Connetti l'agente di Copilot Studio ad Application Insights

Per connettere l'agente ad Application Insights, aggiungere prima di tutto la chiave di strumentazione alla configurazione dell'agente.

  1. Vai alla pagina Impostazioni per l'agente e seleziona Avanzate.

  2. Nella sezione Application Insights immettere la stringa di connessione. Per informazioni su come individuare il stringa di connessione, vedere la documentazione Monitoraggio di Azure.

  3. Facoltativamente, puoi scegliere di abilitare una delle seguenti impostazioni.

    • Abilita registrazione: se attivata, il sistema registra i dettagli dei messaggi e degli eventi in ingresso e in uscita.

    • Registra i dettagli della conversazione: Include l'ID dell'utente, il nome utente e il testo del messaggio (per le attività di messaggio). Quando la traccia OpenTelemetry è abilitata, questa impostazione controlla anche gli argomenti di input dello strumento e i risultati dell'output degli strumenti acquisiti in intervalli.

    • Registra nel log le proprietà sensibili dell'attività: se attivata, i log includono i valori di determinate proprietà che potrebbero essere considerate sensibili nei messaggi e negli eventi in ingresso e in uscita.

    • Eventi di esecuzione del nodo: registrare un evento ogni volta che viene eseguito un nodo all'interno di un argomento.

Analizzare la telemetria del bot con Application Insights

Dopo aver collegato il tuo agente a Application Insights, registra i dati di telemetria quando gli utenti interagiscono con l'agente, anche durante i test all'interno di Copilot Studio. Per visualizzare i dati di telemetria registrati, vai alla sezione Log della tua risorsa Application Insights in Azure. Qui puoi usare le query Kusto per interrogare e analizzare i tuoi dati. Scopri di più nelle query di esempio.

Interrogazioni di esempio

Una query può essere semplice come specificare una singola tabella, ad esempio customEvents, che mostra tutti gli eventi di telemetria personalizzati registrati da Copilot Studio. Tuttavia, è anche possibile usare query Kusto per restringere ulteriormente i risultati, tra cui:

  • L'aggiunta di un intervallo di tempo
  • Estensione dei risultati tramite dimensioni personalizzate. Le dimensioni personalizzate sono proprietà personalizzate che si registrano insieme ai campi predefiniti, ad esempio timestamp o nome dell'evento
  • Aggiunta di una clausola where per limitare i dati restituiti in base a una condizione
  • L'utilizzo di più funzioni Kusto integrate per determinare cosa e come vengono visualizzate le informazioni

La query di esempio seguente restituisce un grafico a linee che mostra il numero di utenti distinti comunicati con il bot al giorno per gli ultimi 14 giorni.

let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)
| render timechart

Importante

I dati all'interno di alcuni campi variano e sono più o meno applicabili, a seconda del canale utilizzato. Ad esempio, si ottiene solo un conteggio corretto di utenti univoci nella query se gli utenti sono autenticati e gli ID utente sono coerenti tra le conversazioni. Negli scenari anonimi in cui viene generato un ID utente casuale in ogni conversazione, il campo ID utente è meno utile.

Escludere i dati di telemetria dalle conversazioni di test nelle query

Il bot registra i dati di telemetria per tutte le conversazioni, incluse quelle che si verificano all'interno di Copilot Studio durante i test. Se si desidera escludere i dati di telemetria raccolti durante il test, estendere la query usando la designMode dimensione personalizzata acquisita da tutti gli eventi e usare una clausola where nella query.

L'esempio seguente mostra tutti gli eventi personalizzati, esclusi quelli acquisiti tramite il canvas di test.

customEvents
| extend isDesignMode = customDimensions['designMode']
| where isDesignMode == "False"

Dimensioni personalizzate

Gran parte dei dati di attività specifici ricevuti da Copilot Studio viene archiviata nel campo customDimensions. Puoi vedere un campo dimensione personalizzata utilizzato in una query per escludere la telemetria dalle conversazioni di test.

Campo Descrizione Valori di esempio
type Tipo di impegno message, conversationUpdate, eventinvoke
ID canale Identificatore del canale emulator, directline, msteamswebchat
fromId Identificatore di origine <id>
fromName Nome utente dal client John Bonham, Keith Moon, Steve SmithSteve Gadd
locale Impostazioni locali di origine del client en-us, zh-cn, en-GB, de-de, zh-CN
recipientId Identificatore del destinatario <id>
recipientName Nome del destinatario John Bonham, Keith Moon, Steve SmithSteve Gadd
text Testo del messaggio find a coffee shop
designMode La conversazione è avvenuta all'interno del canvas di test True / False

Visualizza i risultati del monitoraggio (anteprima)

Importante

Questo articolo contiene la documentazione sull'anteprima di Microsoft Copilot Studio ed è pertanto soggetto a modifiche.

Le funzionalità di anteprima non sono destinate all'uso in produzione e possono avere funzionalità limitate. Queste funzionalità sono disponibili prima di una versione ufficiale in modo che sia possibile ottenere l'accesso iniziale e inviare commenti.

Se stai creando un agente destinato alla produzione, vedi Panoramica di Microsoft Copilot Studio.

La visualizzazione dashboard Copilot Studio usa i segnali provenienti da Monitoraggio di Azure Application Insights. Esegue query su Application Insights tramite cartelle di lavoro di Azure e crea visualizzazioni.

Queste visualizzazioni portano le metriche chiave, ad esempio conversazioni totali, latenza, eccezioni, utilizzo degli strumenti e analisi degli argomenti, in un'unica visualizzazione. La singola visualizzazione offre ai team la trasparenza in modo che possano tenere traccia dell'integrità operativa e della qualità, comprendere le tendenze e valutare continuamente per migliorare l'applicazione.

Per accedere e usare la visualizzazione di monitoraggio predefinita in Application Insights, seguire questa procedura:

  1. Passa alla risorsa di Application Insights.
  2. Selezionare la scheda Monitoraggio nel riquadro di spostamento a sinistra.
  3. Nella scheda Monitoraggio selezionare Cartelle di lavoro. Aprire Copilot Studio Dashboard dalla galleria di cartelle di lavoro.

Screenshot della raccolta di cartelle di lavoro di Application Insights.

Screenshot della cartella di lavoro di Copilot Studio.

Personalizzare e condividere il dashboard

Application Insights è uno strumento potente per il monitoraggio delle prestazioni delle applicazioni (APM) che fornisce informazioni dettagliate sull'integrità e sulle prestazioni delle applicazioni.

Il dashboard viene aperto come cartella di lavoro modificabile in cui è possibile personalizzare la cartella di lavoro e salvarla in base alle proprie esigenze.

  1. Selezionare Modifica nella barra dei comandi.

    Screenshot della modifica del workbook di Application Insights.

  2. Modificare gli elementi in base alle esigenze per il caso d'uso. Seleziona i tre punti (...) per un elemento da modificare, aggiungere, muovere o ridimensionare, clonare o rimuovere. Ad esempio, è possibile aggiungere un riquadro che usa KQL per tenere traccia di un attributo personalizzato che si sta raccogliendo e che la visualizzazione predefinita non mostra.

    Screenshot della modifica di un elemento nel workbook di Application Insights.

  3. Selezionare Salva per salvare le modifiche più recenti e creare visualizzazioni diverse in base alle esigenze.

    Screenshot del salvataggio del workbook di Application Insights.

  4. Selezionare l'icona Condividi nella barra dei comandi da condividere con il team.

    Note

    Quando condividi la cartella di lavoro con i membri del team, devono avere almeno il ruolo di Lettore per la risorsa di Application Insights connessa per visualizzare le informazioni.

    Screenshot della condivisione del workbook Application Insights.

Disabilita la telemetria Application Insights a livello di agente

Per impedire ai creatori di abilitare la telemetria di Application Insights a livello di agente, blocca l'Application Insights nel connettore di Copilot Studio tramite una policy dati nel centro di amministrazione Power Platform.

Prima di iniziare, assicurarsi di avere:

  • Ruolo di amministratore Power Platform o amministratore di Dynamics 365 a livello di tenant in Microsoft Entra ID.
  • Accesso all'ambiente target dove vengono schierati gli agenti di Copilot Studio.

Per disabilitare la telemetria Application Insights a livello di agente, segui questi passaggi:

  1. Nel centro di amministrazione Power Platform, seleziona Sicurezza nel pannello sinistro, seleziona Dati e privacy, e poi Politica dati.
  2. Crea una nuova policy sui dati o modifica una policy esistente.
  3. Seleziona gli ambienti a cui la policy deve applicarsi e seleziona Aggiungi alla policy.
  4. Nel passaggio Connectors (nuova policy) o Prebuilt connectors (policy esistente), cerca Application Insights in Copilot Studio e selezionalo.
  5. Seleziona Blocco per spostare Application Insights in Copilot Studio al gruppo Connettori Bloccati.
  6. Completate i restanti passaggi di configurazione della policy e pubblicate la policy.

Note

Il connettore potrebbe comparire nella lista dei connettori integrati di Microsoft come Application Insights in Copilot Studio.

Quando la data policy viene applicata, l'Application Insights nel connettore di Copilot Studio viene bloccato per gli ambienti target. Gli utenti e i produttori non possono utilizzare questo connettore in ambienti regolati dalla politica.

  • Last updated on