Apache Airflow
データパイプライン、定期実行タスク、研究フローの自動化に使えるオープンソースのワークフロースケジューリング・プラットフォーム。
- 主な分類
- データエンジニアリング
- 費用
- 費用は公式サイトで確認してください
- ライセンスの種類
- オープンソース
- プラットフォーム
- Linux / macOS / Windows
Apache Airflow を開く クイックスタート コードリポジトリ
バージョン監視の対象です。お気に入りに追加すると、管理者が確認した新しいバージョンを「お気に入り」でお知らせします(このブラウザ内のみ)。
詳しい紹介
Apache Airflow はオープンソースのワークフローのスケジューリング・オーケストレーション・プラットフォームで、DAG でタスクの依存関係を記述し、データパイプライン、定期実行タスク、バッチ処理のフロー、自動化された解析フローを実現できます。
適用場面:データエンジニアリング、ワークフローのスケジューリング、定期実行タスク、研究フローの自動化、ETL
注意:Airflow は比較的複雑なフロー向けです。小さなスクリプトのタスクには、まず Snakemake、Prefect、OS のタスクスケジューラを使えます。