Logo lv.boatexistence.com

Kas ir dags gaisa plūsmā?

Satura rādītājs:

Kas ir dags gaisa plūsmā?
Kas ir dags gaisa plūsmā?

Video: Kas ir dags gaisa plūsmā?

Video: Kas ir dags gaisa plūsmā?
Video: What is DAGS and TASK in Apache Airflow? 🔥DAGS Demo🔥Task Demonstration🔥DAGS in PYTHON 2024, Maijs
Anonim

DAGs. Pakalpojumā Airflow DAG - vai a virzītais acikliskais grafiks - ir visu veicamo uzdevumu kopums, kas sakārtots tā, lai atspoguļotu viņu attiecības un atkarības.

Kā jūs veidojat DAG pakalpojumā Airflow?

Lai izveidotu DAG programmā Airflow, vienmēr ir jāimportē DAG klase Pēc DAG klases seko operatoru importēšana. Būtībā katram operatoram, kuru vēlaties izmantot, ir jāveic atbilstoša importēšana. Piemēram, ja vēlaties izpildīt Python funkciju, jums ir jāimportē PythonOperator.

Kur Airflow meklē DAG?

Gaisa plūsma meklē jūsu DAGS_FOLDER moduļus, kuru globālajā nosaukumvietā satur DAG objektus, un pievieno atrastos objektus DagBag.

Kā Airflow uzglabā DAG?

Apache Airflow metadatu datu bāze:

Metadatu datu bāzē tiek saglabātas konfigurācijas, piemēram, mainīgie un savienojumi Tajā tiek saglabāta arī lietotāja informācija, lomas un politikas. Visbeidzot, plānotājs parsē visus DAG un saglabā attiecīgos metadatus, piemēram, grafiku intervālus, statistiku no katras darbības un to uzdevumus.

Vai Airflow ir ETL rīks?

Gaisa plūsma pati par sevi nav ETL rīks. Bet tas pārvalda, strukturē un organizē ETL cauruļvadus, izmantojot kaut ko, ko sauc par virzītajiem acikliskajiem grafikiem (DAG). … Metadatu datu bāzē tiek saglabātas darbplūsmas/uzdevumi (DAG).

Ieteicams: