Apache Airflow — открытое программное обеспечение для создания, выполнения, мониторинга и оркестрации потоков операций по обработке данных.
Изначально разработан в Airbnb в октябре 2014 году. В марте 2016 года стал проектом Apache Incubator, в январе 2019 года — проектом верхнего уровня Apache Software Foundation.
Написан на Python, потоки операций и зависимости между ними кодируются также на Python по принципу «конфигурация как код» (в отличие от таких систем, как Oozie и Azkaban, использующих файлы конфигурации). Для оркестровки потоков операций используется представление в виде направленного ациклического графа (DAG); собранная в граф группа операций может запускаться либо по определённому расписанию (например, ежечасно или ежедневно), либо по событию (например, появлению файла в Hive).
Airflow по подписке предоставляется многими публично-облачными провайдерами, в том числе Google Cloud Platform (Cloud Composer), Amazon Web Services (с ноября 2020 года) и Yandex Cloud (с сентября 2023 года).
Примечания
Airflow Категория:Программы для управления данными