Компания Cloud предоставляет облачные инфраструктурные сервисы (виртуальные серверы, облачные хранилища данных), платформенные сервисы, облачную платформу для разработки и эксплуатации моделей машинного обучения на базе двух суперкомпьютеров — Christofari и Christofari Neo, а также сервис «Диск».

Ее направление AI Cloud включает в себя несколько продуктовых групп, в том числе: 1) платформу машинного обучения ML Space (аналог Sagemaker — облачных инструментов AWS для работы с ML-моделями, Vertex AI — облачных инструментов Google для подготовки наборов данных и обучения ML-моделей или DataSphere от «Яндекс» — облачной среды, объединяющей инструменты и ресурсы для разработки машинного обучения); 2) платформу для проведения хакатонов DS Works (аналог Kaggle — системы организации конкурсов по исследованию данных и социальной сети специалистов по обработке данных/машинному обучению); 3) отдельное подразделение AI Consulting, специалисты которого помогают внедрять системы ML, подготавливать данные и создавать модели машинного обучения «под ключ».

Платформа ML Space: от общего к частному

Платформа ML Space позволяет организовать весь цикл машинного обучения, включая загрузку данных, обучение модели и ее использование. В качестве инфраструктуры для ее развертывания могут использоваться как уникальные суперкомпьютерные мощности Cloud, так и стандартные серверы, не обязательно с GPU — их требуют далеко не все задачи машинного обучения.

По разным причинам далеко не все заказчики хотят выносить свои данные в облако: 70% компаний не могут использовать публичную инфраструктуру. Этому часто препятствуют ФЗ, регламентирующие работу с данными, отраслевые стандарты по хранению и обработке данных или внутренние регламенты.

При этом 90% компаний не имеют комплексного решения для ML-разработки, а публичные ML-решения функционально ограничены. Да и на российском рынке облачных ML-решений очень мало. Поэтому появилась идея создания версии Private платформы ML Space для развертывания систем машинного обучения в инфраструктуре заказчиков. Поскольку ML Space изначально разрабатывалась для любой инфраструктуры, это упростило создание Private-версии. Требования к ресурсам у нее достаточно универсальны, и продукт получился «массовым». Внедрять его могут и партнеры Cloud.

Усилия себя оправдывают: ML Space Private обеспечивает решение прикладных бизнес-задач силами ведущих экспертов ML-разработки — от анализа данных до внедрения в промышленную эксплуатацию с последующей поддержкой «под ключ».

Первый проект и результаты общения с потенциальными заказчиками

Сейчас идет первый проект внедрения платформы ML Space Private в инфраструктуре крупного заказчика. По информации Cloud, эта платформа уже работает, запущен продукт, функционирующий в частном облаке. В этом проекте внедрение выполняется в контуре заказчика, изолированном от облака Cloud. Обновления в облачной версии периодически синхронизируются с версией, установленной у заказчика. Хотя внедрение может выполняться как в формате on-premise, так и в гибридном варианте.

Перед реализацией проекта команда AICloud совместно с заказчиком обсуждают, какие цели и задачи внедренная платформа позволит решать в контуре компании. Чаще всего в данной платформе нуждаются организации с большим количеством задач в области машинного обучения. Как правило, это крупные промышленные предприятия, банки.

Многие из них не знают, что на российском рынке есть готовые подобные решения, потому выбирали зарубежные продукты или стартовали (и продолжают стартовать) «с нуля» проекты по разработке аналогичных продуктов внутри своего контура. Между тем отечественные решения вполне способны удовлетворить их потребности. Те, кто ранее выбирал зарубежные платформы, сейчас столкнулись с необходимостью повторного выбора, внедрения новой платформы и переноса на неё всей функциональности. Чаще всего платформу ML Space рассматривают как возможную замену Cloudera Data Science Workbench — надстройки над «озером данных» Cloudera, которая также представляет собой ML-платформу для работы с моделями и аналитикой, разворачиваемую на ресурсах заказчика (on-premise). Так что заменить продукты ушедшей с российского рынка Cloudera, а также SAS, SAP, IBM и прочих могут не только продукты Open Source.

Cloud сейчас активно продвигает свое решение: ряд компаний рассматривают его на уровне сбора информации (RFI). Им нужна готовая масштабируемая платформа для специалистов по данным, разработчиков и инженеров, поддерживающая совместную разработку ML-моделей и их запуск в эксплуатацию.

Дополнительным преимуществом данной платформы также является то, что она позволяет оптимизировать использование внутренних ресурсов, в то время как на базе решений Open Source часто не удается добиться эффективного использования ресурсов, рациональной загрузки серверов.

Решаемые задачи и модули ML Space

ML Space Private предоставляет готовые инструменты, оптимально использует имеющиеся ресурсы и поддерживается компанией Cloud. Возможно функционирование как исключительно во внутреннем контуре, так и в гибридном режиме, когда чувствительные данные хранятся на серверах компании, а вычисления, требующие серьезных мощностей, ведутся в публичном облаке. В обоих случаях необходима интеграция с системами заказчика, источниками и озерами/хранилищами данных, то есть настройки коннекторов с источниками данных. Возможна также интеграция ML Space с системами заказчика для распределения/квотирования ресурсов. В этом случае можно настраивать выделение разным командам разного объема ресурсов. Благодаря изоляции ресурсов каждая команда видит только свои задачи и модели. Ресурсы изолируются на уровне платформы. Платформа отвечает за их распределение, ведение очередей, реализует механизмы приоритизации задач.

На платформе предусмотрено несколько модулей, каждый из которых помогает решать определенные задачи:

Кому нужна ML-платформа

Такая платформа, зарегистрированная в Едином реестре российского ПО, подойдет компаниям, которым нужно готовое к развертыванию решение для полного цикла разработки моделей машинного обучения, эффективно использующее ресурсы инфраструктуры, а также тем, кто ищет замену зарубежному ПО. Она предлагается по подписке (включающей поддержку).

При проектировании и оценке бюджета проекта нужно учитывать стоимость внедрения и настройки системы, зависящую от масштаба инсталляции, а также затраты на интеграцию этой программной платформы с системами заказчика (управление правами доступа пользователей, источники данных, системы, использующие результаты работы моделей). Интеграцию осуществляют специалисты Cloud совместно с заказчиком, либо привлекаются партнеры со стороны. Это одна из самых сложных составляющих проекта.

Согласно Cloud, ML Space экономит время специалистов (data scientist) на 30%, а срок разработки, развертывания и запуска модели сокращается в среднем на 50% — с 3 до 1,5 месяцев. Платформа обеспечивает эффективное использование инфраструктуры заказчика, позволяя за счет архитектуры решения и реализованного функционала повысить утилизацию ресурсов до 80-100%. ML Space обеспечивает полную конфиденциальность данных с надежной защитой от утечек, встраивается в ИБ-ландшафт компании и повышает уровень ее «ML-зрелости». Платформа надежно защищает персональные данные в соответствии с приказом ФСТЭК России №21 на первом уровне защищенности (УЗ-1). Это значит, что заказчики могут безопасно создавать и развертывать продукты, осуществляющие обработку персональных данных.

Платформой могут пользоваться не только специалисты по данным (Data Scientist), но и аналитики, администраторы, инженеры DevOps. Единый инструмент для совместной работы и версионирования обеспечивает воспроизводимость, позволяет обмениваться данными с другими пользователями и вместе работать над моделями. Важный плюс — самостоятельное внедрение и использование готовых решений, причем для их разработки полного цикла и поддержки заказчику не потребуется дорогостоящая команда, и он сможет сфокусироваться на бизнес-задачах.