Criteri di interruzione dei nodi in Servizio Azure Kubernetes (AKS) (anteprima)

Quando gestisci ed esegui la manutenzione dei cluster AKS, alcune modifiche alla configurazione richiedono la rigenerazione dell'immagine dei nodi. Questa operazione di ricreazione dell'immagine attiva un aggiornamento in sequenza che ricrea i nodi. Durante un'operazione di reimaging, AKS isola il nodo (impedendo la pianificazione di nuovi pod), scarica i pod esistenti (espellendoli e ripianificandoli su altri nodi disponibili nel rispetto dei Pod Disruption Budget) e quindi esegue il reimaging del nodo con la configurazione aggiornata. Questo processo è una ricreazione completa dei nodi, non un riavvio. La macchina virtuale sottostante viene ricreata con una nuova immagine del sistema operativo. Anche se i volumi persistenti configurati correttamente (usando dischi Azure, File di Azure o altre risorse di archiviazione esterne) non sono interessati, i dati archiviati nell'archiviazione temporanea locale del nodo (ad esempio i volumi EmptyDir o i percorsi locali) vengono persi definitivamente. Queste operazioni sono necessarie per applicare aggiornamenti importanti, ma possono interrompere i carichi di lavoro in esecuzione e influire sulla disponibilità delle applicazioni. I criteri di interruzione dei nodi consentono di controllare con granularità fine quando queste operazioni di interruzione possono continuare, consentendo di bilanciare la necessità di aggiornamenti con stabilità operativa.

Che cos'è la policy di interruzione dei nodi?

I criteri di interruzione dei nodi sono una configurazione a livello di cluster che regola quando è possibile eseguire operazioni che richiedono la ricreazione dell'immagine del nodo e la ridistribuzione del nodo. Funge da gate di controllo, consentendo di:

• Allinea le operazioni che causano interruzioni con le finestre di manutenzione.
• Blocca le modifiche alla configurazione durante i periodi aziendali critici, consentendo comunque l'esecuzione degli aggiornamenti delle immagini del nodo e delle patch di sicurezza.
• Mantenere un comportamento prevedibile del cluster durante eventi a traffico elevato.

Il criterio si applica alle modifiche di configurazione avviate dall'utente che richiedono la ricreazione del nodo, ad esempio l'aggiornamento di certificati attendibili dell'autorità di certificazione (CA) personalizzati, la modifica delle impostazioni del profilo di sicurezza o la modifica della configurazione del sistema operativo del nodo.

Come funziona il criterio di interruzione dei nodi

È possibile configurare il criterio di interruzione dei nodi a livello di cluster tramite la proprietà nodeDisruptionProfile. Quando si tenta di eseguire un'operazione che richiede la rigenerazione dell'immagine del nodo, AKS controlla l'impostazione corrente del criterio:

• Valutazione dei criteri: AKS valuta se l'operazione è consentita in base ai criteri correnti.
• Controllo della finestra di manutenzione (se applicabile): se si usa AllowDuringMaintenanceWindow, il servizio Azure Kubernetes verifica se l'ora corrente rientra nella finestra di manutenzione configurata.
• Esecuzione o blocco dell'operazione: l'operazione di interruzione del nodo procede se consentita o rifiutata con un messaggio di errore se bloccato.

Opzioni dei criteri

I criteri di interruzione dei nodi supportano tre configurazioni dei criteri:

Considerazioni

Quando si usano i criteri di interruzione dei nodi, tenere presenti le considerazioni seguenti:

• Ambito: la direttiva si applica alle operazioni avviate dall'utente che richiedono il reimaging del nodo, non alla manutenzione del sistema avviata da AKS. Per informazioni dettagliate, vedere Operazioni di ripristino non controllate dai criteri di interruzione dei nodi.
• Operazioni bloccate: quando viene bloccata un'operazione di interruzione, la chiamata API non riesce con un messaggio di errore. È necessario modificare il criterio o attendere la finestra di manutenzione.
• Manutenzione di emergenza: Azure riserva il diritto di eseguire operazioni di manutenzione urgenti o critiche indipendentemente dall'impostazione dei criteri.
• Pianificazione degli aggiornamenti: l'impostazione del criterio su Block previene determinati aggiornamenti del cluster. Per informazioni dettagliate, vedere Operazioni coperte dai criteri di interruzione dei nodi. Pianificare di conseguenza per assicurarsi di poter applicare gli aggiornamenti necessari quando necessario.
• Dipendenza della finestra di manutenzione: il AllowDuringMaintenanceWindow criterio richiede la configurazione di una aksManagedNodeOSUpgradeSchedule finestra di manutenzione. Per informazioni dettagliate, vedere Usare la manutenzione pianificata per pianificare e controllare gli aggiornamenti per il cluster servizio Azure Kubernetes.

Operazioni coperte dal criterio di interruzione del nodo

Operazioni a livello di cluster

Abilitazione dei criteri di rete e aggiornamento di Azure CNI Overlay

Per installare i componenti di rete necessari e configurare le regole di rete che proteggono e gestiscono la comunicazione da pod a pod, è necessario creare nuovamente l'immagine dei nodi.

La tabella seguente illustra gli aggiornamenti dei criteri di rete che attivano la ricreazione dell'immagine:

Modifiche al canale di aggiornamento del sistema operativo del nodo

Ogni canale usa un'infrastruttura e una configurazione diverse per l'applicazione di patch del sistema operativo che non è possibile modificare nei nodi in esecuzione.

La tabella seguente illustra le modifiche del canale di aggiornamento del sistema operativo del nodo che attivano la ricreazione dell'immagine:

Abilitazione di IPv6 dual-stack

Per supportare la comunicazione dual-stack, i nodi necessitano di configurazioni IP IPv4 e IPv6 e aggiornamenti dello stack di rete( ad esempio regole nftables).

Nella tabella seguente vengono descritti gli aggiornamenti della configurazione IP e dello stack di rete che attivano la ricreazione dell'immagine:

Modifiche al piano dati di Cilium

È necessario installare o rimuovere programmi eBPF che gestiscono l'elaborazione dei pacchetti a livello di kernel.

La tabella seguente illustra le modifiche apportate al piano dati Cilium che attivano la ricreazione dell'immagine:

Aggiornamenti della configurazione del proxy HTTP

Tutti i componenti del nodo (containerd, kubelet, servizi di sistema) necessitano della configurazione proxy aggiornata applicata a livello di sistema. Quando si aggiorna la configurazione del proxy HTTP, AKS esegue automaticamente il reimaging di tutti i pool di nodi nel cluster.

Il criterio di interruzione del nodo attiva la rigenerazione dell'immagine quando si modifica una delle seguenti proprietà di configurazione del proxy HTTP o si esegue una delle seguenti operazioni:

• httpProxy: URL proxy per le connessioni HTTP
• httpsProxy: URL proxy per le connessioni HTTPS
• noProxy: Elenco di destinazioni da escludere dall'utilizzo del proxy
• trustedCa: certificato CA alternativo codificato in Base64
• Abilitare il proxy HTTP in un cluster (con --enable-http-proxy)
• Disabilitare il proxy HTTP in un cluster (con --disable-http-proxy)
• Riabilitare il proxy HTTP su un cluster in cui era stato precedentemente disabilitato

Aggiornamenti dei certificati della CA personalizzati

È necessario installare nuovi certificati CA nell'archivio attendibilità del sistema operativo per influire sulla convalida TLS per i servizi interni e i registri privati.

Il criterio di interruzione del nodo attiva la ricreazione dell'immagine quando si aggiungono, rimuovono o aggiornano certificati CA personalizzati.

Modifiche all'identità Kubelet

È necessario applicare nuove credenziali di identità alla configurazione del nodo. Sono comprese l'assegnazione iniziale dell'identità, gli aggiornamenti dell'identità e la reimpostazione del profilo del service principal.

Il criterio di interruzione del nodo attiva la ricreazione dell'immagine quando si aggiorna un'identità gestita o un'identità gestita assegnata dall'utente del kubelet.

modifiche della zona DNS privato

È necessario aggiornare le impostazioni del resolver DNS per risolvere l'endpoint del server API privato usando la nuova zona DNS.

I criteri di interruzione dei nodi attivano la rigenerazione dell'immagine quando si modifica la configurazione di una zona DNS privata in un cluster privato.

Abilitazione dell'integrazione rete virtuale del server API

È necessario riconfigurare i nodi per comunicare con il server API tramite l'IP del servizio di bilanciamento del carico interno proiettato nella subnet delegata.

I criteri di interruzione dei nodi attivano la ricreazione dell'immagine quando si abilita l'integrazione della VNet del server API in un cluster esistente che in precedenza non la usava. Questa modifica corrisponde alla modifica della apiServerAccessProfile.enableVnetIntegration proprietà (internamente il privateConnectProfile.enabled campo) da false (o unset) a true:

Modifiche al routing dell'host eBPF

È necessario installare o rimuovere programmi eBPF che forniscono l'inoltro di pacchetti a prestazioni elevate (modalità di accelerazione BpfVeth).

La tabella seguente illustra le modifiche al routing dell'host eBPF che attivano la ricreazione dell'immagine:

Operazioni a livello di pool di nodi

Queste operazioni influiscono solo sui pool di nodi specifici in cui si apportano modifiche. Attivano un reimaging graduale in quei pool di nodi:

Aggiornamenti del profilo DNS locale

È necessario applicare le modifiche al daemon di memorizzazione nella cache DNS e alle regole di inoltro DNS a livello di nodo.

Il criterio di interruzione del nodo attiva la ricreazione dell'immagine quando si modifica la configurazione di un profilo LocalDNS.

Modifiche di sicurezza di Trusted Launch

Non è possibile modificare le impostazioni di configurazione del firmware della macchina virtuale e del processo di avvio nelle macchine virtuali in esecuzione. Queste modifiche richiedono di ricreare le macchine virtuali.

La tabella seguente riporta le modifiche di sicurezza di Trusted Launch che comportano la ricreazione dell'immagine:

Modifiche allo streaming degli artefatti

È necessario installare o rimuovere i componenti per lo streaming degli artefatti per consentire uno scaricamento più rapido dell'immagine del container, trasmettendo su richiesta i layer dell'immagine.

La tabella seguente riporta le modifiche allo streaming degli artefatti che attivano la rigenerazione dell'immagine:

Windows GMSA aggiornamenti dei profili (solo pool di nodi Windows)

È necessario applicare nuove impostazioni GMSA, la configurazione del server DNS e le credenziali di aggiunta al dominio per l'integrazione Active Directory nei nodi Windows.

I criteri di interruzione dei nodi attivano la rigenerazione dell'immagine dei pool di nodi Windows quando una modifica di GMSA richiede l'applicazione di una nuova configurazione del nodo:

Allegato gruppo di prenotazione della capacità

È necessario ricreare le macchine virtuali sottostanti in modo che vengano allocate usando la capacità riservata nel gruppo di prenotazione della capacità (CRG). I nodi esistenti non sono stati sottoposti a provisioning rispetto al CRG, quindi AKS deve rigenerare l'immagine del pool di nodi per associarlo alla prenotazione.

Il criterio di interruzione del nodo avvia la reimpostazione dell'immagine quando si associa un gruppo di prenotazione della capacità a un pool di nodi esistente che non ne ha già associato uno.

Operazioni non ancora coperte dai criteri di interruzione dei nodi

Le modifiche di configurazione seguenti richiedono la ricreazione dell'immagine del nodo, ma non sono ancora coperte dai criteri di interruzione dei nodi. Un futuro aggiornamento della versione secondaria di Kubernetes coprirà queste modifiche man mano che questa modifica introduce un nuovo comportamento.
Dopo aver apportato queste modifiche alla configurazione, è necessario eseguire az aks nodepool upgrade manualmente con --node-image-only per applicare le modifiche ai nodi.

• Modifiche alla configurazione SSH: modifica dei metodi di accesso SSH (disabilitato SSH, Entra ID basato su SSH o SSH utente locale) o aggiornamento delle chiavi pubbliche SSH nei pool di nodi.
• Modifiche alle restrizioni IMDS: abilitazione o disabilitazione della restrizione IMDS (Instance Metadata Service) per bloccare l'accesso dei pod all'endpoint IMDS.
• Modifiche al profilo bootstrap: la modifica del profilo bootstrap, ad esempio il passaggio di artifactSource tra Direct e Cache, oppure la modifica di containerRegistryId (l'Registro Azure Container usato per i cluster con isolamento di rete).
• Modifiche al tipo in uscita: modifica del tipo di connettività in uscita del cluster (loadBalancer, userDefinedRouting, managedNATGateway o userAssignedNATGateway).

Operazioni di aggiornamento non controllate dal criterio di interruzione dei nodi

Il criterio di interruzione dei nodi non controlla le seguenti operazioni di aggiornamento. Queste operazioni di aggiornamento proseguono indipendentemente dall'impostazione dei criteri. Gli aggiornamenti vengono avviati dal cliente o da AKS durante le finestre di manutenzione pianificate. Per consentire l'esecuzione di queste operazioni come pianificato, mantenerle intenzionalmente fuori dall'ambito dei criteri di interruzione dei nodi. Inoltre, se le operazioni coperte dal criterio di interruzione dei nodi sono incluse nelle stesse modifiche di configurazione insieme agli aggiornamenti, non saranno gestite dal criterio di interruzione dei nodi.

• Aggiornamenti della versione dell'immagine del nodo: aggiornamento a una nuova versione dell'immagine del sistema operativo del nodo (manualmente o tramite canali di aggiornamento automatico). Questa è l’operazione di rigenerazione dell’immagine più comune e include patch di sicurezza, aggiornamenti del sistema operativo e rilasci delle immagini dei nodi di AKS.
• Aggiornamenti della versione di Kubernetes: aggiornamento della versione di Kubernetes in un pool di nodi, che applica nuovi file binari Kubernetes, configurazione kubelet aggiornata e modifiche a livello di sistema operativo.

Operazioni di ripristino non controllate dai criteri di interruzione dei nodi

I criteri di interruzione dei nodi non controllano le operazioni di ripristino automatizzate seguenti. Queste operazioni possono verificarsi indipendentemente dall'impostazione dei criteri per garantire l'integrità e il ripristino del cluster.

• Rollback della configurazione del pool di nodi: quando un'operazione di aggiornamento di un pool di nodi non riesce a causa di una configurazione non valida o di problemi di infrastruttura, AKS esegue automaticamente il rollback all'ultimo stato valido noto e reimposta l'immagine dei nodi per ripristinare la configurazione.
• Operazioni di ripristino amministrativo del cluster: quando i tecnici del supporto di Azure eseguono il ripristino amministrativo del cluster durante la risoluzione degli incidenti, i nodi vengono sottoposti a reimaging per garantire la coerenza tra lo stato del piano di controllo e la configurazione dei nodi.
• Aggiornamenti delle credenziali di identità del nodo: AKS aggiorna periodicamente le credenziali di identità del nodo per motivi di sicurezza e conformità. Questi aggiornamenti avviati dal sistema attivano la ricreazione dell'immagine del nodo per applicare le nuove credenziali in tutti i pool di nodi.

Integrazione con la manutenzione pianificata

Node Disruption Policy si integra perfettamente con le finestre di manutenzione pianificata di AKS. Quando si imposta il criterio su AllowDuringMaintenanceWindow, le operazioni che causano interruzioni sono allineate con la finestra di manutenzione aksManagedNodeOSUpgradeSchedule, garantendo che:

• Le modifiche si verificano solo durante le finestre temporali approvate.
• Le operazioni si coordinano con altre operazioni di manutenzione pianificata.
• I team sono consapevoli di quando possono verificarsi interruzioni.

Questa integrazione offre un approccio completo alla gestione delle modifiche del cluster e alla riduzione dell'impatto sull'esecuzione dei carichi di lavoro.

Procedure consigliate

Quando si implementano i criteri di interruzione dei nodi, prendere in considerazione questi consigli:

• Usa AllowDuringMaintenanceWindow per la produzione: Combinalo con finestre di manutenzione pianificate per controllare quando si verificano interruzioni negli ambienti di produzione.
• Imposta Block durante i periodi critici: blocca temporaneamente le operazioni di interruzione durante eventi a traffico elevato, lanci di prodotti o risposta agli eventi imprevisti. Non usare Block a tempo indeterminato. Anche se Block è appropriato per i blocchi a breve termine (eventi pianificati, risposta agli eventi imprevisti).
• Consenti flessibilità in ambienti non di produzione: l'uso Allow in ambienti di sviluppo e test in cui l'iterazione rapida è più importante della stabilità.
• Comunicare le modifiche ai criteri: assicurarsi che il team comprenda i criteri correnti e sappia quando le operazioni potrebbero essere bloccate.
• Pianificare le finestre di manutenzione in modo appropriato: ridimensionare le finestre di manutenzione per soddisfare le operazioni da eseguire.
• Comportamento dei criteri di test: convalidare le impostazioni dei criteri in ambienti non di produzione prima di applicarle ai cluster di produzione.
• Monitorare le operazioni bloccate: tenere traccia del blocco delle operazioni per ottimizzare la pianificazione della manutenzione.

Contenuti correlati

• Informazioni su come configurare i criteri di interruzione dei nodi.
• Informazioni sulla manutenzione pianificata in AKS.