メインコンテンツへ移動

Apache Airflow

データパイプライン、定期実行タスク、研究フローの自動化に使えるオープンソースのワークフロースケジューリング・プラットフォーム。

主な分類
データエンジニアリング
費用
費用は公式サイトで確認してください
ライセンスの種類
オープンソース
プラットフォーム
Linux / macOS / Windows
Apache Airflow を開く クイックスタート コードリポジトリ

バージョン監視の対象です。お気に入りに追加すると、管理者が確認した新しいバージョンを「お気に入り」でお知らせします(このブラウザ内のみ)。

詳しい紹介

Apache Airflow はオープンソースのワークフローのスケジューリング・オーケストレーション・プラットフォームで、DAG でタスクの依存関係を記述し、データパイプライン、定期実行タスク、バッチ処理のフロー、自動化された解析フローを実現できます。

適用場面:データエンジニアリング、ワークフローのスケジューリング、定期実行タスク、研究フローの自動化、ETL

注意:Airflow は比較的複雑なフロー向けです。小さなスクリプトのタスクには、まず Snakemake、Prefect、OS のタスクスケジューラを使えます。