Apache Beam — унифицированная модель программирования с открытым кодом, созданная для описания и выполнения конвейров обработки данных, предназначенных для таких процессов, как ETL, а также для пакетной и многопоточной обработки данных. Конвейры Beam создаются с помощью одного из представленных комплектов для разработки программного обеспечения и выполняются одним из поддерживаемых Beam “исполнителей”, в состав которых входят Apache Flink, Apache Samza, Apache Spark и Google Cloud Dataflow.
История Apache Beam является одной из реализаций модели потока данных Dataflow компании Google. Она основана на предыдущей работе компании Google связанной с абстракциями распределенных вычислений, в частности на FlumeJava и Millwheel.
В 2014 году компания Google выпустила реализацию модели Dataflow в виде комплекта для разработки программного обеспечения с открытым исходным кодом, а также распределенную (в виде одного из сервисов "Oблачной платформы Google") и локальную (не распределенную) среды выполнения.
Хронология
Второстепенные релизы Apache Beam выходят раз в 6 недель.
ВерсияДата выхода 2022-08-23 2022-06-27 2022-05-25 2022-04-20 2022-03-04 2022-02-07 2021-12-29 2021-11-11 2021-10-07 2021-08-25 2021-07-08 2021-06-09 2021-04-27 2021-02-22 2021-01-08 2020-12-11 2020-10-23 2020-09-18 2020-07-29 2020-06-08 2020-05-27 2020-04-15 2020-02-04 2020-01-23 2020-01-06 2019-10-07 2019-08-22 2019-08-01 2019-05-22 2019-04-25 2019-02-26 2019-02-01 2018-12-13 2018-10-29 2018-10-03 2018-08-08 2018-06-26 2018-03-20 2018-01-30 2017-12-02 2017-08-23 2017-05-17 2017-03-11 2017-02-02 2016-12-29 2016-10-31 2016-08-08 2016-06-15
Ссылки
Категория:Проекты Apache