Поделиться
Halyk Bank при поддержке Databorn внедрил корпоративную ModelOps-платформу на открытых технологиях
Halyk Bank внедрил корпоративную ModelOps-платформу, развернутую на базе ПО с открытым кодом. Автором проекта выступила команда экспертов международной компании-интегратора Databorn. Решение позволило сократить как минимум в два раза время вывода в промышленную эксплуатацию (time-to-market) моделей машинного обучения (ML). Об этом CNews сообщил Андрей Суставов, директор Databorn.
Потребность в технологическом решении была обусловлена отсутствием в банке единой платформы для разработки и применения ML-моделей, а также единой системы отслеживания их метрик и параметров.
«На протяжении последних лет мы активно развиваем направление Data Science. Увеличивается количество ML-моделей, и обходиться без полноценной системы продуктивизции разрабатываемых моделей стало сложнее, – сказал Роман Машчык, заместитель председателя правления Halyk Bank. – Для решения вопроса мы привлекли экспертную команду Databorn, которая внедрила корпоративную ModelOps-платформу. Теперь все ML-модели разрабатываются на основе единого шаблона и имеют стандартизованный пайплайн продуктивизации для регламентного предсказания и автоматического переобучения».
Платформа интегрирована с банковскими источниками данных, состоит из различных инструментов, развернутых в кластере Kubernetes. Такое решение позволяет обеспечить гибкость инструмента, эффективное управление имеющимися вычислительными ресурсами, а также предоставляет возможность быстрого масштабирования.
Для непрерывной интеграции (упаковки) и продуктивизации используется Gitlab CI/CD. С его помощью построен единый пайплайн вывода модели от стадии разработки до применения в продакшене. В качестве инструмента по управлению Data Science-экспериментами используется MLFlow, что позволяет логировать метрики и параметры модели, а также различные артефакты экспериментов, принимать решения о внедрении моделей, выполнять ретроспективный анализ процесса изменения метрик. Оркестратором применения ML-моделей служит Airflow.
По результатам опытной эксплуатации, на примере перенесенной на платформу модели, в среднем весь процесс от создания модели до вывода в промышленную эксплуатацию теперь проходит как минимум в 2 раза быстрее, чем до внедрения платформы.
«MLOps помогает бизнесу развивать Data Science-направление эффективнее и внедрять качественные ML-модели значительно быстрее, – сказал Андрей Суставов. – Подход объединяет Machine Learning, DevOps, Data Engineering и Model Governance в единую методологию создания, внедрения и эксплуатации моделей машинного обучения. CI/CD-процессы на платформе выстроены в понятные и единообразные шаги: разработку, сборку, тестирование, внедрение и эксплуатацию, что позволяет продуктивизировать модель быстрее. Ускорение time-to-market высвобождает время для разработки новых моделей специалистами банка, что позволяет решать больше задач бизнеса с помощью технологий машинного обучения».
Halyk Bank нацелен интенсивно развивать направление Data Science, и внедрение ModelOps сыграет важную роль в достижении этой цели.
Короткая ссылка
