0
Luigi
Formålet med Luigi er at adressere alt det VVS, der typisk er forbundet med langvarige batchprocesser.Du vil kæde mange opgaver, automatisere dem, og der vil opstå fejl.Disse opgaver kan være hvad som helst, men er typisk langkørende ting som Hadoop-job, dumping af data til / fra databaser, kørsel af maskinlæringsalgoritmer eller andet.Der er andre softwarepakker, der fokuserer på aspekter af databehandling på lavere niveau, som Hive, Pig eller Cascading.Luigi er ikke en ramme, der skal erstatte disse.I stedet hjælper det dig med at sy mange opgaver sammen, hvor hver opgave kan være en Hive-forespørgsel, et Hadoop-job i Java, et Spark-job i Scala eller Python, et Python-uddrag, dumpe en tabel fra en database eller noget andet.Det er nemt at opbygge langkørende rørledninger, der omfatter tusindvis af opgaver og det tager dage eller uger at gennemføre.Luigi tager sig af en masse af workflow-styringen, så du kan fokusere på selve opgaverne og deres afhængighed .... Du kan bygge stort set enhver opgave, du ønsker, men Luigi kommer også med en værktøjskasse med flere almindelige opgaveskabeloner, som dubrug.Det inkluderer support til at køre Python mapreduce-job i Hadoop samt Hive og Pig-job.Det leveres også abstraktioner af filsystemer til HDFS og lokale filer, der sikrer, at alle filsystemoperationer er atomare.Dette er vigtigt, fordi det betyder, at din datapipeline ikke går ned i en tilstand, der indeholder delvise data.
Internet side:
https://github.com/spotify/luigiKategorier
Alternativer til Luigi til alle platforme med enhver licens
5
Zenaton
En arbejdsgangsbygger til udviklere.Byg begivenhedsdrevne processer i dage i stedet for måneder.
1
StackStorm
StackStorm er en kraftfuld open source-automatiseringsplatform, der forbinder alle dine apps, tjenester og arbejdsgange.Det er udvideligt, fleksibelt og bygget med kærlighed til DevOps og ChatOps.
- Gratis
- Linux
1
ProActive Workflows & Scheduling
ProActive Workflows & Scheduling giver dig mulighed for nemt at udføre alle dine virksomhedsopgaver og forretningsapplikationer, overvåge aktivitet og hurtigt få adgang til jobresultater.
1
Apache Airflow
Airflow er en platform til programmering af forfatter, planlægning og overvågning af datarørledninger.
- Gratis
- Linux