Pianificare le distribuzioni dell'agente Copilot Studio in merito a velocità effettiva e limiti di flusso in entrata

Gli agenti Copilot Studio pronti per la produzione necessitano di più delle licenze e della pianificazione totale dei volumi di messaggi. Hanno anche bisogno di una pianificazione del throughput. La pianificazione del throughput riguarda la velocità di arrivo del traffico, quali servizi della piattaforma vengono chiamati dalla soluzione e quali limiti si applicano all'intera soluzione.

Questo articolo aiuta architetti di soluzioni, creatori e amministratori Power Platform a preparare implementazioni ad alto volume di Copilot Studio per traffico di produzione, test di accettazione utente (UAT), test di carico, scenari business-to-consumer (B2C) e carichi di lavoro autonomi.

Il provisioning delle tariffe è separato dal provisioning delle licenze

La pianificazione di Copilot Studio per l’ambiente di produzione include due flussi di lavoro correlati ma distinti:

  • Assegnazione delle licenze comprende i diritti di utilizzo commerciali e il consumo, ad esempio licenze, crediti, capacità prepagata, pacchetti di messaggi e fatturazione a consumo.
  • Il provisioning delle tariffe illustra la velocità di elaborazione del traffico prima dell'applicazione della limitazione o dei controlli di protezione del servizio.

Nota

Microsoft utilizza il termine quote per i limiti di flusso in entrata di Copilot Studio. Nel vocabolario più ampio del settore, questa attività di pianificazione è spesso chiamata provisioning della velocità. Rivedi i limiti pubblicati, stima i picchi di richiesta e pianifica prima che arrivi il traffico di produzione.

Il pagamento in base al consumo può aumentare i limiti disponibili rispetto alle configurazioni a capacità inferiore, ma il throughput non è infinito. Controlla i limiti attuali di Copilot Studio, le allocazioni delle richieste Power Platform, i limiti di Power Automate, i limiti di protezione dei servizi Dataverse, le regole di limite dei connettori e i limiti delle API a valle.

Cosa succede quando avviene la limitazione delle richieste?

La limitazione della larghezza di banda della rete è un meccanismo di protezione del servizio. Protegge i servizi condivisi da pattern di traffico che superano i limiti pubblicati, i controlli di burst o la capacità del servizio. Il sintomo esatto dipende da quale servizio viene limitato.

Quando si raggiunge un limite, le conseguenze vanno oltre la semplice pianificazione. Le richieste possono essere limitate, ritardate, bloccate o respinte. Nelle chat rivolte all'utente, questo comportamento può apparire come un'interruzione temporanea del servizio. Ad esempio, l'utente potrebbe non riuscire a inviare il messaggio successivo, ricevere un messaggio di agente non disponibile o di superamento del limite di utilizzo, oppure riscontrare un errore in un passaggio perché un flusso, un connettore, una chiamata a Dataverse, un servizio AI o un'API downstream ha raggiunto il proprio limite.

Scopri i sintomi specifici di Copilot Studio e i messaggi di errore in Risolvere gli errori di limite di utilizzo negli agenti.

Come vengono misurati i limiti di flusso in entrata

I limiti di flusso in entrata misurano quanto traffico un servizio può accettare durante una specifica finestra temporale. Considera queste finestre in maniera granulare: al minuto, ogni cinque minuti, ogni 10 minuti, all’ora, al giorno, alla settimana e al mese. Il volume mensile o settimanale aiuta a stimare la domanda totale, ma le finestre temporali più brevi sono importanti per la definizione dei limiti di traffico, perché il limite spesso deriva da traffico concentrato.

Ad esempio, un'azienda B2C potrebbe ricevere la maggior parte del traffico verso i suoi agenti durante un'ora di campagna mirata. La media settimanale potrebbe sembrare bassa, ma quell'unica ora può comunque creare una pressione sulla velocità effettiva sufficiente a causare la limitazione della velocità effettiva o interruzioni del servizio. Una progettazione che appare sicura a livello settimanale o mensile può comunque superare i limiti durante un picco di traffico di un'ora.

Comprendere l'ambito dei limiti

I limiti non si applicano solo a livello di singolo agente. A seconda del servizio, possono applicarsi a livello di ambiente, strumento, API, connettore, canale o a livello di servizio a valle.

Ad esempio, i limiti dei messaggi verso l'agente di Copilot Studio sono applicati a livello di ambiente Dataverse. Quando stimi il traffico, includi tutte le origini che inviano messaggi agli agenti in quell'ambiente, inclusi canali rivolti all'utente, integrazioni, carichi di lavoro autonomi e competenze Azure Bot Framework. Controlla i valori attuali e l'ambito nelle quote e limiti di Copilot Studio.

Decidere se il provisioning della frequenza si applica all'agente

Non tutti gli agenti necessitano di un lavoro dettagliato di provisioning dei limiti di velocità. Un semplice agente interno delle domande frequenti con un gruppo di destinatari contenuto, un utilizzo prevedibile e poche o nessuna chiamata a valle difficilmente raggiungerà i limiti di flusso in entrata. L'allocazione della capacità in base alla frequenza delle richieste diventa importante quando un agente può superare i limiti di richieste al minuto o all'ora, anche se il suo volume mensile sembra modesto.

Considera il traffico atteso già nelle prime fasi del progetto, contestualmente alla progettazione della soluzione. Prima che inizino i test di accettazione utente (UAT) e i test di carico, il team dovrebbe assicurarsi che la progettazione dell'agente, l'ambiente, i servizi connessi e i sistemi a valle possano supportare il profilo di throughput previsto.

Queste indicazioni sono particolarmente rilevanti per agenti aziendali di grandi dimensioni e ad alto carico, dove il traffico può arrivare a raffiche, molti utenti o eventi possono invocare l'agente contemporaneamente, oppure ogni interazione dipende da molteplici servizi della piattaforma. Può anche applicarsi ad agenti più piccoli con schemi di utilizzo concentrati, come una breve finestra di lancio, un evento a livello di dipartimento, un processo pianificato o un flusso di lavoro che crea molte richieste in pochi minuti.

Gli agenti autonomi e B2C richiedono il provisioning a velocità anticipata

Gli agenti B2C possono ricevere traffico da campagne, siti web pubblici, portali clienti, comunicazioni relative a incidenti, lanci di prodotti o richieste stagionali. Gli agenti autonomi possono generare traffico ad alta frequenza da schedulazioni, eventi, processi in background o quando chiamano più strumenti e flussi di lavoro.

Suggerimento

Tratta i casi d'uso B2C e autonomi come scenari di provisioning delle tariffe di primaria importanza. Possono generare traffico a raffica, richieste multiple simultanee e attività di background ad alta frequenza più velocemente rispetto a molte esperienze di chat rivolte ai dipendenti.

Usa le finestre di picco, non solo i totali mensili

Chiedi se l'agente può creare richieste concentrate in un minuto o in un'ora. Anche uno scenario di dimensioni ridotte può comunque richiedere il rate provisioning se un test di carico, una campagna, una risposta a un'interruzione o un trigger automatico invia un numero eccessivo di messaggi, chiamate all’IA generativa, azioni di workflow, chiamate ai connettori o richieste a Dataverse nell’ambiente in un intervallo di tempo ristretto.

Il volume mensile è utile per stimare la domanda totale, ma non è sufficiente per il provisioning delle tariffe. Converti l'utilizzo previsto in finestre temporali più brevi, così da poter confrontare la progettazione con le richieste attuali per minuto (RPM), richieste per ora (RPH), burst e limiti giornalieri dalle pagine collegate.

Crea sia un profilo di traffico medio che un profilo di traffico di picco. Ad esempio, se la maggior parte del traffico avviene ogni giorno tra le 17:00 e le 18:00, il picco orario dovrebbe riflettere quella concentrazione. La stima giornaliera non deve essere 24 volte il valore dell'ora di punta se il traffico è concentrato in una sola finestra.

In quali altri casi può verificarsi una limitazione?

La limitazione può verificarsi anche quando:

  • Un gran numero di dipendenti utilizza l'agente durante una finestra di picco prevedibile, come un evento di dipartimento o una formazione.
  • Una campagna di marketing, un'interruzione, un lancio o un evento aziendale programmato crea un breve picco di traffico.
  • I flussi di Power Automate includono cicli, tentativi, paginazione o flussi figli che amplificano il volume delle richieste.
  • Reporting, auditing, esportazione telemetrica o acquisizione delle trascrizioni vengono eseguite in modo sincrono nel percorso di interazione dell'utente.
  • Più agenti o carichi di lavoro condividono lo stesso ambiente, identità, connettore o capacità API a valle.
  • I test di carico si intensificano più rapidamente di quanto l'architettura di produzione o il processo di supporto fosse preparato a gestire.

Dove trovare i limiti di flusso in entrata applicabili

Copilot Studio ha i suoi limiti, e il percorso di runtime dell'agente può includere altri servizi con i propri limiti. Esamina tutti i limiti rilevanti per i servizi che il tuo agente utilizza.

Limiti di Copilot Studio

Area di provisioning della tariffa Elementi da cercare Dove controllare i valori attuali Come usarla
Messaggi a un agente Limite attuale di RPM/RPH e ambito per i messaggi inviati all'agente. Limiti e quote per Copilot Studio Confronta i messaggi previsti al minuto e all'ora per l'ambiente Dataverse di destinazione.
Messaggi di IA generativa Limite attuale per orchestrazione generativa, azioni dell'agente, strumenti AI, azioni di flusso di lavoro dell'agente e risposte generative. Messaggi di IA generativa a un agente Modellare scenari fortemente basati sull'intelligenza artificiale e sull'automazione rispetto ai limiti attualmente pubblicati.
Nodi trigger autonomo Limiti attuali che si applicano quando un agente autonomo viene attivato da eventi, pianificazioni o processi in background. Limiti e quote per Copilot Studio Modella i carichi di lavoro guidati dagli eventi e quelli programmati separatamente dal traffico di chat interattiva.
Limiti di richiesta degli abbonamenti a Copilot Studio Limiti attuali delle richieste Power Platform che si applicano all'uso di Copilot Studio. Limiti degli abbonamenti a Copilot Studio Utilizza questi valori insieme alla pianificazione del limite di flusso in entrata per i flussi, Dataverse e servizi collegati.

Altri limiti della piattaforma da considerare

Il limite più basso lungo il percorso di esecuzione determina l'esperienza utente. Un agente di Copilot Studio può rientrare nei propri limiti mentre un flusso, un connettore, una chiamata a Dataverse, un servizio linguistico o un'API esterna subisce un limite.

Nota

Altri limiti della piattaforma potrebbero influenzare il tuo agente se utilizza altri componenti nel percorso di richiesta dell'agente. Considera anche questi limiti, inclusi Power Platform, Power Automate, Dataverse, connettori, servizi linguistici e sistemi a valle.

Area di runtime Elementi da cercare Domande sul provisioning della velocità Dove verificare i limiti attuali
Piano Richiesta di Power Platform Richieste relative a Power Automate, chiamate di flusso di lavoro di Copilot Studio, utilizzo di Dataverse, Power Apps e Dynamics 365. Quale utente, connessione, utente dell'applicazione o entità servizio genera le richieste? Le allocazioni delle richieste sono sufficienti per il carico di lavoro giornaliero e di punta previsto? Limiti e allocazioni delle richieste
Flussi di Power Automate Trigger, azioni, cicli, flussi figlio, azioni HTTP, azioni del connettore, nuovi tentativi, impaginazione e concorrenza. Quante azioni vengono create per ogni turno dell'agente? I limiti di sequenza, concorrenza, trigger e connettori rientrano nell'ambito? Comprendere i limiti della piattaforma ed evitare le limitazioni

Limiti per flussi automatizzati, pianificati e istantanei
Dataverse Operazioni CRUD, plug-in, flussi di lavoro, operazioni di assegnazione/condivisione, chiamate a connettori e operazioni di sistema necessarie per completare le transazioni. Quali utenti, utenti dell'applicazione o entità servizio generano chiamate Dataverse? È probabile che si applichino limiti di protezione del servizio o comportamenti di ripetizione dei tentativi? Limiti API di protezione del servizio

Panoramica dei limiti delle API Dataverse
Connettori Connettori standard, connettori premium, connettori personalizzati, limitazione specifica per connettori e API a valle. Quale connettore crea il punto critico? Il servizio a valle applica un proprio limite di flusso in entrata? Limiti di velocità effettiva API sui connettori

Riferimento al connettore di Power Automate
Comprensione del linguaggio di conversazione (CLU) e servizi IA Chiamate CLU, richieste di intelligenza artificiale, operazioni di ricerca e riepilogo, strumenti basati su modelli, dimensioni del payload e limiti specifici del servizio. Ogni turno dell'utente chiama un servizio di lingua o IA? Queste chiamate vengono ripetute durante i tentativi o l'orchestrazione? Limiti della comprensione del linguaggio di conversazione

Limiti e quote per Copilot Studio
API esterne e sistemi line-of-business API dei fornitori, API interne, database, middleware, gateway, servizi personalizzati. Quale limite applica il proprietario a valle? Esiste un contratto di ripetizione, una coda o una strategia di controllo della pressione? Utilizza i limiti attuali del proprietario del servizio a valle, il contratto di servizio e il processo di supporto.

Progetta per ridurre la pressione della velocità effettiva

Non rendere l'aumento delle frequenze la tua prima risposta progettuale. Per prima cosa, rivedi la progettazione dell'agente e ottimizza l'efficienza. Se l'agente deve effettuare una ricerca, assicurati che le chiamate esterne siano intenzionali, ottimizza le chiamate API ed evita volumi di richieste non necessari attraverso Copilot Studio, Power Automate, Dataverse, connettori e sistemi a valle.

Una volta che la progettazione è efficiente, gestisci la velocità effettiva affinché il traffico raggiunga la piattaforma in maniera prevedibile:

  • Per i limiti a livello di ambiente, considera la suddivisione degli agenti tra diversi ambienti se questo approccio è coerente con la tua architettura operativa. Questo approccio può aiutare a evitare che agenti ad alto volume, unità aziendali, regioni o carichi di lavoro autonomi siano in concorrenza con carichi di lavoro non correlati per i medesimi limiti a livello di ambiente.
  • Per gli agenti autonomi, usa code, elaborazione in batch, filtri di attivazione, elaborazione pianificata, controlli di nuovi tentativi e monitoraggio, in modo che il lavoro in background non si accumuli in un picco incontrollato.
  • Quando possibile, sposta le attività programmate, di reporting, di esportazione dei dati di audit e di telemetria al di fuori del percorso di chat interattiva.
  • Esamina i risultati dei test di carico e la telemetria di produzione per identificare dove si concentrano le richieste, quindi ottimizza l'agente, i flussi, i connettori e le API a valle prima di richiedere limiti più elevati.

Gli agenti autonomi sono in una posizione unica per massimizzare l'utilizzo della capacità allocata con solida prevedibilità e osservabilità, mettendo in coda le richieste e controllando la frequenza di attivazione.

Cosa fare se i limiti di flusso in entrata predefiniti non sono sufficienti

Se la stima del traffico di picco indica che l'agente o qualsiasi servizio connesso potrebbe superare i limiti attualmente pubblicati, avvia la procedura di supporto per l'adeguamento dei limiti prima della UAT, dei test di carico o del rilascio in produzione. Non aspettare il primo errore in produzione.

Nota

Copilot Studio è un servizio SaaS con limiti di flusso in entrata per proteggere il servizio per tutti i clienti. Con una giustificazione valida, il reparto tecnico può impostare limiti personalizzati per scenari approvati.

Apri una richiesta di supporto

Gli amministratori possono richiedere assistenza dall'interfaccia di amministrazione di Power Platform.

Apri il ticket in anticipo e includi le migliori stime disponibili. Più dettagli fornisci, più facile sarà il processo di revisione. Aggiorna la richiesta man mano che la progettazione viene affinata o i test di carico forniscono dati osservati.

Informazioni fondamentali da includere

Informazioni Descrizione
ID ambiente L'ambiente Dataverse in cui l'agente viene eseguito.
Nome o identificatore dell'agente L'agente oggetto della richiesta.
Impatto aziendale Impatto critico se i limiti predefiniti non sono sufficienti.
Informazioni note Cosa si sa riguardo allo scenario, al canale, al contesto di lancio, alla criticità aziendale e se si tratta di un agente B2C, autonomo, rivolto ai dipendenti o ad uso interno.
Snapshot dell'agente Uno snapshot o un’esportazione che aiuti i revisori a comprendere la configurazione, il design, i servizi connessi e le impostazioni rilevanti dell’agente.
Progettazione dell'agente Descrizione ad alto livello degli argomenti, dell’uso dell’IA generativa, delle fonti delle informazioni, delle azioni, dei flussi, dei connettori, delle chiamate a Dataverse e delle API esterne utilizzate dall’agente.
Stima media del traffico Traffico medio previsto per ora, giorno, settimana o mese.
Stima del traffico di punta Messaggi di picco attesi, sessioni, chiamate ai servizi di IA generativa, azioni di flusso, chiamate al connettore, richieste Dataverse e chiamate API esterne ove conosciute.

Ulteriori dettagli che possono aiutare

Informazioni Descrizione
Intervallo di date Data di inizio e fine dell'aumento richiesto. Esegui test di carico separati, test di accettazione dell'utente e intervalli di date di produzione, se diversi.
Schema di picco Finestre di picco, fusi orari, fattori previsti che determinano i picchi di traffico e se il traffico si concentra in una breve finestra giornaliera.
Profilo della sessione Sessioni concorrenti, durata media e di picco delle sessioni, messaggi per sessione e domande per sessione.
Esempi di sessioni tipiche Percorsi utente rappresentativi, passaggi tipici eseguiti, strumenti utilizzati e ID di sessione di esempio, ove disponibili.
Percorso di runtime Flussi, azioni, prompt di intelligenza artificiale, chiamate ai servizi di conoscenza, richieste Dataverse, connettori e API per ogni interazione.
Picchi a livello di funzionalità Volume di picco per agente, funzionalità, utente, ambiente, connettore, minuto, ora e giorno ove noto.
Prodotti da revisionare Se la richiesta riguarda Copilot Studio, allocazioni di richieste Power Platform, Power Automate, connettori, Dataverse, servizi CLU/AI o API esterne.
Evidence Esempi di ID di sessione, errori, ID di correlazione, log, risultati di test di carico o osservazioni in produzione.
Soluzioni di prevenzione Riassumi ciò che hai già provato per ridurre la pressione di limitazione. Fai riferimento alla guida Progetta per ridurre la pressione della velocità effettiva, inclusi revisione della progettazione, chiamate esterne ottimizzate, segmentazione dell'ambiente, raggruppamento, accodamento, filtro dei trigger, pianificazione, distribuzione del carico di lavoro e altre ottimizzazioni già in atto.

Importante

Un aumento della velocità effettiva non è garantito. Il supporto tecnico Microsoft esamina le richieste in base allo scenario, all'ambiente, all'intervallo di date richiesto, al traffico previsto, all'idoneità, ai limiti attuali e alla capacità del servizio.

  • Last updated on