Поделиться
«ДАР» помог «Сравни» оптимизировать архитектуру данных
Специалисты компании «ДАР» (входит в ГК «Корус Консалтинг») провели аудит платформы данных финансового маркетплейса «Сравни», развернутого в среде для создания ИТ-продуктов Yandex Cloud. По итогам аудита эксперты подготовили рекомендации, которые уже помогли «Сравни» повысить производительность сервиса в условиях постоянно растущей нагрузки, связанной с увеличением клиентской базы. Об этом CNews сообщили представители ГК «Корус Консалтинг».
Финансовый маркетплейс «Сравни» позволяет сравнивать и подбирать различные финансовые и страховые продукты. На платформе можно выбрать и оформить кредиты, ипотеку, вклады, кредитные карты, страховки (ОСАГО, каско и др.).
На фоне роста числа посетителей сайта маркетплейса компании было важно подтвердить устойчивость и эффективность архитектуры хранилища данных, а также сформировать программу дальнейшего развития платформы.
Проектная команда проанализировала текущее состояние платформы, развернутой в Yandex Cloud, включая ETL-процессы, конфигурации Yandex Managed Service for Greenplum, Yandex Managed Service for ClickHouse, Yandex Data Proc, Argo Workflows и объектного хранилища Yandex Object Storage (S3-совместимого). После аудита эксперты предложили шаги для повышения стабильности платформы и ускорения обработки данных.
В частности, специалисты предложили оптимизировать хранение данных, доработать процессы их загрузки и обработки, перенести часть вычислений в другие сервисы облачной инфраструктуры, а также сделать витрины данных в ClickHouse более эффективными за счет оптимизации структуры хранения и загрузки. Кроме того, команда «ДАР» подготовила альтернативный вариант дальнейшего развития платформы.
«Для нас было важно получить подтверждение, что можно выстроить зрелую архитектуру данных на базе современных облачных технологий и постоянно повышать ее эффективность. Прозрачная архитектура хранилища данных и способность выдерживать высокие нагрузки позволит нам подготовить фундамент для более сложных задач в области машинного обучения и data science», – сказала Екатерина Мосалева, руководитель отдела аналитики в «Сравни».
«Наша экспертиза в работе с различными технологическими инструментами помогла нам эффективно решить задачу в данном проекте. Несмотря на сложную архитектуру мы смогли четко идентифицировать ключевые моменты, которые необходимо оптимизировать для того, чтобы повысить прозрачность хранилища данных, сократить время реакции команды «Сравни» на возможные инциденты и сбои, а также предложить стратегическую дорожную карту для развития инфраструктуры на базе Yandex Cloud», – сказал Павел Ревин, руководитель центра компетенции платформ данных «ДАР» (входит в ГК «Корус Консалтинг»).
Короткая ссылка
