Apache Airflow

开源工作流调度平台,适合数据管道、定时任务和科研流程自动化。

详细介绍

Apache Airflow 是开源工作流调度和编排平台,可用 DAG 描述任务依赖,实现数据管道、定时任务、批处理流程和自动化分析流程。

适用场景:数据工程、工作流调度、定时任务、科研流程自动化、ETL

注意:Airflow 适合较复杂流程,小型脚本任务可先使用 Snakemake、Prefect 或系统计划任务。