Che cosa sono le pipeline di Azure Machine Learning?

SI APPLICA A:Estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)SDK Python azure-ai-ml v2 (corrente)

Una pipeline di Azure Machine Learning è un flusso di lavoro che automatizza un'attività di Machine Learning completa. Standardizza le procedure consigliate, supporta la collaborazione in team e migliora l'efficienza.

Perché le pipeline di Azure Machine Learning sono necessarie?

Una pipeline suddivide un'attività di Machine Learning in passaggi. Ogni passaggio è un componente gestibile che può essere sviluppato e automatizzato separatamente. Azure Machine Learning gestisce le dipendenze tra i passaggi. Questo approccio modulare:

Standardizzare la pratica MLOps e supportare la collaborazione tra team scalabili

MLOps automatizza la compilazione e la distribuzione di modelli. Le pipeline semplificano questo processo eseguendo il mapping di ogni passaggio a un'attività specifica, in modo che i team possano lavorare in modo indipendente.

Ad esempio, un progetto può includere raccolta dati, preparazione, training, valutazione e distribuzione. Gli ingegneri dei dati, gli scienziati e gli ingegneri del machine learning sono ciascuno responsabili della propria fase. I passaggi sono compilati in modo ottimale come componenti, quindi integrati in un singolo flusso di lavoro. Le pipeline possono essere sottoposte a controllo delle versioni, automatizzate e standardizzate mediante pratiche DevOps.

Efficienza della formazione e riduzione dei costi

Le pipeline migliorano anche l'efficienza e riducono i costi. Riusano gli output da passaggi non modificati e consentono di eseguire ogni passaggio sulla risorsa di calcolo migliore per l'attività.

Procedure consigliate per iniziare

È possibile creare una pipeline in diversi modi, a seconda del punto di partenza.

Se non hai familiarità con le pipeline, inizia suddividendo il codice esistente in fasi, parametrizzando gli input e racchiudendo il tutto in una pipeline.

Per scalare, usa i template di pipeline per i problemi comuni. I team creano un fork da un modello, lavorano sui passaggi assegnati e aggiornano solo la propria parte, se necessario.

Con pipeline e componenti riutilizzabili, i team possono creare rapidamente nuovi flussi di lavoro clonando o combinando parti esistenti.

È possibile compilare pipeline usando l'interfaccia della riga di comando, Python SDK o l'interfaccia utente della finestra di progettazione.

Quale tecnologia della pipeline di Azure è consigliabile usare?

Azure offre diversi tipi di pipeline per scopi diversi:

Sceneggiatura Utente tipo principale Offerta di Azure Offerta software open source Pipe canonica Punti di forza
Orchestrazione del modello (Machine Learning) Scienziato dei dati Pipeline di Azure Machine Learning Pipeline Kubeflow Dati - Modello > Distribuzione, memorizzazione nella cache, code-first, riutilizzo
Orchestrazione dei dati (preparazione dei dati) Ingegnere dei dati Pipeline di Data Factory di Azure Apache Airflow Dati - Dati > Spostamento fortemente tipizzato, attività incentrate sui dati
Orchestrazione codice e app (CI/CD) Sviluppatori di app/Ops Azure Pipelines Jenkins Codice e modello - App/Servizio > Supporto delle attività più aperte e flessibili, code di approvazione, fasi con controllo dell'accesso

Passaggi successivi

Le pipeline di Azure Machine Learning aggiungono valore fin dall'inizio dello sviluppo.