Kubeflow — построенная на Kubernetes и представленная Google платформа с открытым кодом, предназначенная для машинного обучения и MLOps практик. Различные этапы в типичном жизненном цикле машинного обучения представлены разными компонентами программного обеспечения в Kubeflow, включая разработку модели (Kubeflow Notebooks), тренировку модели (Kubeflow Pipelines, Kubeflow Training Operator), использование модели (KServe), и автоматическое машинное обучение (Katib).

Каждый компонент Kubeflow может быть развернут отдельно, также нет требования развертывать каждый компонент.

История Проект Kubeflow был впервые анонсирован на конференции KubeCon + CloudNativeCon North America 2017 инженерами Google Дэвидом Арончиком, Джереми Леви и Вишну Каннаном для устранения предполагаемой нехватки гибких возможностей для построения систем машинного обучения готовых к запуску на производстве. Было также заявлено, что проект начался как способ компании Google сделать открытым код, с помощью которого в компании используется TensorFlow.

Первый выпуск Kubeflow (Kubeflow 0.1) был анонсирован на конференции KubeCon + CloudNativeCon Europe 2018 с утверждениями, что он уже стал одним из верхних 2% проектов на GitHub за всё время существования сервиса. Kubeflow 1.0 был выпущен в марте 2020 года в публичном посте анонсирующим перевод множества компонентов Kubeflow в «стабильный статус», обозначая тем самым, их готовность для производственного использования.

Компоненты

Kubeflow Notebooks для разработки модели Модели машинного обучения разрабатываются в компоненте записной книжки называемым Kubeflow Notebooks. Компонент использует web среды разработки внутри Kubernetes кластера, с родной поддержкой Jupyter Notebook, Visual Studio Code, и RStudio.

Kubeflow Pipelines для обучения модели После разработки модели обучаются в компоненте Kubeflow Pipelines. Компонент служит платформой для построения и развертывания портируемого, масштабируемого рабочего процесса машинного обучения, основанного на контейнерах Docker. Облачная платформа Google адаптировала Kubeflow Pipelines DSL для использования внутри своего продукта Vertex AI Pipelines.

Kubeflow Training Operator для обучения модели Для некоторых моделей машинного обучения и библиотек, компонент Kubeflow Training Operator предоставляет поддержку пользовательских ресурсов Kubernetes. Компонент позволяет запускать как распределенные, так и не распределенные работы для обучения с использованием TensorFlow, PyTorch, Apache MXNet, XGBoost, и MPI на Kubernetes.

KServe для использования модели Компонент KServe (ранее называемый KFServing) предоставляет пользовательские ресурсы Kubernetes для использования моделей машинного обучения с помощью различных фреймворков включая TensorFlow, XGBoost, scikit-learn, PyTorch, и ONNX. KServe был разработан совместно Google, IBM, Bloomberg, NVIDIA, и Seldon. Публично раскрытые пользователи KServe включают Bloomberg, Gojek, и прочих.

Katib для автоматического машинного обучения Наконец, Kubeflow включает компонент для автоматического обучения и разработки моделей машинного обучения — Katib компонент. Он описывается как родной проект Kubernetes и позволяет производить настройку гиперпараметров, раннюю остановку и поиск нейронной архитектуры.

Хронология выпусков + Хронология выпусков Версия Дата выпуска Сведения о выпуске Блог выпуска Kubeflow 0.1 5 апреля, 2018 - https://kubernetes.io/blog/2018/05/04/announcing-kubeflow-0.1/ Kubeflow 0.2 2 июля, 2018 - https://medium.com/kubeflow/kubeflow-0-2-offers-new-components-and-simplified-setup-735e4c56988d Kubeflow 0.3 5 октября, 2018 - https://medium.com/kubeflow/kubeflow-0-3-simplifies-setup-improves-ml-development-98b8ca10bd69 Kubeflow 0.4 8 января, 2019 - https://medium.com/kubeflow/kubeflow-0-4-release-enhancements-for-machine-learning-productivity-d77c54df07a9 Kubeflow 0.5 9 апреля, 2019 - https://medium.com/kubeflow/kubeflow-v0-5-simplifies-model-development-with-enhanced-ui-and-fairing-library-78e19cdc9f50 Kubeflow 0.6 19 июля, 2019 https://www.kubeflow.org/docs/releases/kubeflow-0.6/ https://medium.com/kubeflow/kubeflow-v0-6-a-robust-foundation-for-artifact-tracking-data-versioning-multi-user-support-9896d329412c Kubeflow 0.7 17 октября, 2019 https://www.kubeflow.org/docs/releases/kubeflow-0.7/ https://medium.com/kubeflow/kubeflow-v0-7-delivers-beta-functionality-in-the-leadup-to-v1-0-1e63036c07b8 Kubeflow 1.0 20 февраля, 2020 https://www.kubeflow.org/docs/releases/kubeflow-1.0/ https://blog.kubeflow.org/releases/2020/03/02/kubeflow-1-0-cloud-native-ml-for-everyone Kubeflow 1.1 31 июля, 2020 https://www.kubeflow.org/docs/releases/kubeflow-1.1/ https://blog.kubeflow.org/release/official/2020/07/31/kubeflow-1.1-blog-post Kubeflow 1.2 18 ноября, 2020 https://www.kubeflow.org/docs/releases/kubeflow-1.2/ https://blog.kubeflow.org/release/official/2020/11/18/kubeflow-1.2-blog-post Kubeflow 1.3 23 апреля, 2021 https://www.kubeflow.org/docs/releases/kubeflow-1.3/ https://blog.kubeflow.org/kubeflow-1.3-release/ Kubeflow 1.4 12 октября, 2021 https://www.kubeflow.org/docs/releases/kubeflow-1.4/ https://blog.kubeflow.org/kubeflow-1.4-release/ Kubeflow 1.5 10 марта, 2022 https://www.kubeflow.org/docs/releases/kubeflow-1.5/ https://blog.kubeflow.org/kubeflow-1.5-release/ Kubeflow 1.6 7 сентября, 2022 https://www.kubeflow.org/docs/releases/kubeflow-1.6/ https://blog.kubeflow.org/kubeflow-1.6-release/

Дополнение

Примечания

Ссылки

Категория:Облачная инфраструктура Категория:Машинное обучение Категория:Программное обеспечение с лицензией Apache Категория:Свободное программное обеспечение, написанное на Python Категория:Свободное программное обеспечение, написанное на Go