Pikaopas: Apache-ilmavuotyön luominen

Muistiinpano

Apache Airflow -työnkulku toimii Apache Airflow'lla.

Apache Airflow on avoimen lähdekoodin alusta, jota käytetään monimutkaisten töiden ohjelmalliseen luomiseen, aikatauluttamiseen ja seurantaan. Sen avulla voit määritellä joukon tehtäviä, joita kutsutaan operaattoreiksi ja jotka voidaan yhdistää suunnatuiksi asyklisiksi kaavioiksi (DAG) putkistojen esittämiseksi.

Apache Airflow Job on yksinkertainen ja tehokas tapa luoda ja hallita Apache Airflow -ympäristöjä, joiden avulla voit suorittaa orkestrointitöitä suuressa mittakaavassa helposti. Tässä pikaoppaassa luomme yksinkertaisen Apache Airflow -työn, jonka avulla perehdymme Apache Airflow Jobin ympäristöön ja toimintoihin.

Apache Airflow -työn luominen

  1. Voit käyttää aiemmin luotua työtilaa tai luoda uuden työtilan.

  2. Laajenna + Uusi tuote -pudotusvalikko, sitten Data Factory -osiosta valitse Apache Airflow Job

    Näyttökuva Apache Airflow Jobin valitsemiseksi.

  3. Anna projektillesi sopiva nimi ja valitse Luo-painike .

DAG-tiedoston luominen

  1. Valitse New DAG -tiedostokortti , anna tiedostolle nimi ja valitse Luo.

    Näyttökuva DAG-tiedoston nimeksi.

  2. DAG-kattilakoodi näytetään sinulle. Voit muokata tiedostoa tarpeidesi mukaan.

    Näyttökuva esittää DAG-tiedoston kattilassa Microsoft Fabricissa.

  3. Valitse Tallenna.

    Näyttökuvassa esitetään DAG-tiedoston tallentaminen Microsoft Fabricissa.

DAG:n suorittaminen

  1. Aloita valitsemalla Run DAG -painike.

    Näyttökuva DAG:n suorittamiseen tietojen työnkulkujen käyttöliittymästä.

  2. Kun se käynnistetään, ilmestyy ilmoitus, joka kertoo DAG:n olevan käynnissä.

  3. Seuraa DAG-suorituksen etenemistä valitsemalla Näytä tiedot ilmoituskeskuksessa. Tämä toiminto ohjaa sinut Apache Airflow -käyttöliittymään, jossa voit kätevästi seurata DAG-suorituksen tilaa ja tietoja.

    Näyttökuva, jossa voit siirtyä ilmoituskeskuksesta Apache Airflow -käyttöliittymään.

Apache Airflow DAG -valvonta Apache Airflow -käyttöliittymässä

Tallennetut dag-tiedostot ladataan Apache Airflow -käyttöliittymään. Voit seurata niitä klikkaamalla Monitor in Apache Airflow -painiketta.

Näyttökuva, joka valvoo Airflow DAG -mittaria.

Näyttökuvassa näkyy ladattu airflow-DAG.