Apache Airflow

Apache Airflow

Airflow er en platform til programmering af forfatter, planlægning og overvågning af datarørledninger.
Airflow er en platform til programmering af forfatter, planlægning og overvågning af datarørledninger.Brug luftstrøm til at oprette arbejdsgange som instruerede acykliske grafer (DAG'er) af opgaver.Airflow-planlæggeren udfører dine opgaver på en række medarbejdere, mens du følger de specificerede afhængigheder.Rich kommandolinjeværktøjer gør det hurtigt at udføre komplekse operationer på DAG'er.Den rige brugergrænseflade gør det nemt at visualisere rørledninger, der kører i produktionen, overvåge fremskridt og fejlfinde problemer, når det er nødvendigt .... Principper Dynamisk: Luftstrømsrørledninger er konfiguration som kode (Python), hvilket giver mulighed for dynamisk rørledningsgenerering.Dette giver mulighed for at skrive kode, der instantierer rørledninger dynamisk.Udvidelig: Definer let dine egne operatører, eksekutører og udvid biblioteket, så det passer til det abstraktionsniveau, der passer til dit miljø.Elegant: Luftstrømledninger er magre og eksplicitte.Parameterisering af dine scripts er bygget i kernen i luftstrømmen ved hjælp af en kraftig Jinja-templeringsmotor.Skalerbar: Luftstrøm har en modulær arkitektur og bruger en meddelelseskø til at tale med at orkestrere et vilkårligt antal arbejdstagere.Luftstrømmen er klar til at skalere til uendelig.

Alternativer til Apache Airflow til Web med open source-licens