Каноническим считается определение от Gartner. «Большие данные — это характеризующийся большим объемом, скоростью и разнообразием форматов информационный актив, который требует экономически эффективных и инновационных методов обработки для глубокого анализа и принятия информированных решений». Предложенные в 2001 г. аналитиком агентства Дугом Лейни (Doug Laney) знаменитые три «V», volume, velocity и variety (объем, скорость и разнообразие) по-прежнему актуальны, говорят в Gartner. Но три «V» не описывают комплекс технологий больших данных полностью, напоминают аналитики и предлагают взглянуть на все три части определения.
Техническая возможность хранить и обрабатывать колоссальные объемы неструктурированных данных, «связывать» фрагменты разнородной информации и анализировать эти связи есть у подавляющего большинства компаний на рынке. Не стоит ожидать недорогих решений, а вот на эффективные с точки зрения затрат инструменты сегодня рассчитывать вполне реально. В прагматичном мире бизнеса все-таки самым главным остается третья часть определения: максимально глубокий анализ и принятие бизнес-решений на его основе.
Упускать из вида третью часть — значит обречь себя на разочарование технологией, говорят аналитики. «Пропускать третью часть — значит обречь на очень болезненное избавление от иллюзий в терминологии цикла зрелости технологий, который предлагает Gartner, — говорит директор исследования управления данными в Gartner Светлана Сикьюлар (Svetlana Sicular). — Безусловно, реализовать именно эту часть определения сложно, но необходимо для того, чтобы перейти на следующий уровень, когда будут устранены основные недостатки, а технология сможет эффективно использоваться в коммерческих проектах».
За последний год банки, телеком, медиа, ЖКХ и оптовые ритейлеры увеличили свои расходы на технологии больших данных больше других игроков рынка. Опубликованное в конце четвертого квартала 2014 г. исследование Gartner продемонстрировало, что использование столбчатых баз данных, обычно служащих для хранения массивов неструктурированной информации, а потому характеризующихся высоким объемом, а также использование аналитики поисковых запросов выросли за год более чем на 5%.
Согласно прогнозу Wikibon на 2011–2026 гг., рынок решений больших данных достигнет объема в $84 млрд к 2026 г. при среднегодовом росте в 17%. По их оценкам, в 2014 г. рынок составлял в $27,36 млрд, «прибавив» почти $7,8 млрд, или 39% по сравнению с 2013 г. Очевидно, что реальная скорость развития технологии уже сейчас превышает сделанные ранее прогнозы. Аналитики Frost & Sullivan настроены еще более оптимистично, называя отметку в $122 млрд как вполне достижимую для рынка решений больших данных к 2025 г. В агентстве также полагают, что трафик больших данных превысит 100 зеттабайт в год к 2025 г.
По прогнозам исследования Information Week, ключевыми драйверами аналитики больших данных в 2015 г. станут поиск корреляций между поступившими из самых разнообразных источников данными (48%), предиктивная аналитика покупательского поведения (46%) и предиктивная аналитика уровня продаж (40%).
Развивайся или умри
IDC предсказывает что рынок «железа», ПО и технологических продуктов для использования больших данных и аналитики достигнет объема в $125 млрд уже в 2015 г. Такая цифра объясняется тем, что IDC учитывает и инфраструктурную составляющую, необходимую для интеграции технологий больших данных, а также хранения информационных массивов. Одновременно эксперты аналитической группы рассчитывают зафиксировать рост расходов на профессиональные услуги на 25% относительно роста затрат на технологии.
Рост затрат на специалистов, которые могли бы эффективно работать и помогать бизнесу находить в данных реальное подспорье для принятия бизнес-решений, объясняется все более сложной структурой информационных систем и их особым значением в деле принятия комплексных управленческих решений. Компаниям требуется принципиально новый класс кадров для работы с большими данными: об этом в один голос говорят представители бизнеса по всему миру. И российские компании — не исключение. «Сегодня объективно появляется необходимость в так называемых data scientist’ах, людях, которые владеют навыками построения математических моделей и подходами к анализу «сырых» данных», — комментирует вице-президент по интеграционным решениям компании «Техносерв» Сергей Строганов.
По результатам опубликованного в конце 2014 г. исследования рынка от Datameer, самыми популярными направлениями использования больших данных в корпорациях стали клиентская аналитика (48%), операционная аналитика (21%) и борьба с мошенничеством (21%). К сопоставимому результату пришли и аналитики Accenture, которые попросили представителей компаний, использующих большие данные, назвать направления, влияние которых на бизнес будет особенно сильным в ближайшем будущем. 37% респондентов назвали клиентскую аналитику приоритетом номер один, 26% «проголосовали» за маркетинг и 15% назвало операционную аналитику.
По результатам исследования Accenture, 89% сегодняшних бизнес-лидеров убеждены, что большие данные изменят бизнес так же, как его когда-то изменил интернет. 79% респондентов отметили, что компании, которые не научатся работать с технологиями больших данных лишат себя конкурентного преимущества или поставят под угрозу само свое существование.
Отечественные корпорации на пути к просветлению
Российские компании отмечают, что спрос на технологии больших данных на отечественном рынке не уменьшается, а наоборот, растет. «Он постепенно переходит на новый качественный уровень, — говорит Сергей Строганов. — При этом повышается ценность информации для бизнеса, развиваются подходы и инструменты по использованию данных. Основной упор делается на понимание полезности хранящейся информации и правильном способе ее применения». С ним согласен и председатель совета директоров компании CleverData Денис Реймер: «За прошедший год интерес к технологиям Big Data значительно вырос. Трансформировался спектр задач, которые ставятся в сфере больших данных: от хранения и накопления данных к извлечению из данных новых знаний». По его словам, важнейшим драйвером применения больших данных на российском рынке стали задачи анализа данных и поиск бизнес-кейсов, которые смогли бы помочь существенно повысить эффективность работы. «Появление повторяемых бизнес-кейсов — основное ожидание рынка в сфере Big Data на сегодня», — отмечает Денис Реймер.
| Компания | Название проекта | Тип конечного пользователя | Описание проекта | Срок реализации |
|---|---|---|---|---|
| Flocktory | Flocktory Exchange | Клиентский сервис | Закрытая партнерская сеть по обмену высокотаргетированным трафиком между ограниченным кругом партнеров, в который входят только топ-игроки e-commerce рынка. Позволяет подобрать себе новых покупателей по множеству параметров, включая такие как регион, возраст и пол, частота покупок, средний чек покупок в определенном товарном сегменте, сила социального влияния и многим другим. Это создает конверсию привлеченного трафика в среднем до 8 раз выше, чем по другим маркетинговым каналам | 2014–2015 гг. |
| Flocktory | Flocktory Pre-Checkout | Клиентский сервис | Инструмент позволяет анализировать поведение пользователя на сайте, а также его характеристики, чтобы сделать максимально привлекательное для него предложение. В основе — унифицированные профили покупателей | 2014–2015 гг. |
| Mail.Ru Group | Система хранения данных в оперативной памяти Tarantool | Для корпоративного использования, клиентский сервис | Tarantool – открытое решение, которое 100% данных хранит в оперативной памяти, за счет чего обеспечиваются очень быстрый отклик на запросы и отказоустойчивость. За счет скорости и расширяемости время ответа системы удалось сократить с секунды до микросекунды. Tarantool используется не только в Mail.Ru Group, но и в других компаниях банковской сферы и e-commerce. Avito использует Tarantool, чтобы по минимальному числу действий сегментировать пользователей сервиса и показывать им наиболее релевантные объявления. Решение также применяется в Sberbank Digital Ventures для противодействия мошенничеству с пластиковыми картами | 2014 г. |
| Ай-Теко | Платформа «2Толк» | Клиентский сервис | Возможности платформы будут применяться для мониторинга веб-ресурсов, highload-обработки текста на нескольких языках, включающей анализ сущностей, их связей, мнений, тональности высказываний, социального графа авторов и сообществ. Программный компонент для хранения документов и знаний использует Open Source-платформы Big Data | май 2015 г. |
| ВТБ Страхование | Система бизнес-аналитики | Для корпоративного использования | Новая система бизнес-аналитики обеспечила формирование "сквозной" отчетности в условиях функционирования множества учетных систем. Она позволяет оценивать доходность каждого агента, обеспечивает общий подход к работе с данными и делает возможным выведение конечных витрин данных для пользователей | 2014 г. |
| ДИТ и Департамент здравоохранения города Москвы | Лаборатория анализа больших данных в здравоохранении | Для корпоративного использования | Лаборатория займется анализом массивов данных, накопленных в процесе информатизации столичной системы здравоохранения. Ее наработки помогут прогнозировать всплески заболеваемости, сравнивать эффективность способов лечения, определять группы риска, персонализировать медицину | апрель 2015 г. |
| Петер-Сервис | Масштабирование бизнес-приложений по модели SaaS без ограничения количества обслуживаемых абонентов | Клиентский сервис | Набор бизнес-приложений. Разработанные сценарии включают кейсы по анализу покупательских аномалий, борьбе с пробками в супермаркетах, выявлению лидеров мнений и взаимодействию с ними, повышению эффективности интернет-рекламы и др. | 2014–2015 гг. |
| МТС | Анализ потребления мобильных услуг в день проведения ЕГЭ по русскому языку – 28 мая 2015 г. | Демонстрационный проект возможностей технологий больших данных | Анализ потребления мобильных услуг в дни проведения ЕГЭ по русскому языку в 2014–2015 гг. отражает общий рыночный тренд – в общении школьники отдают предпочтение мобильному интернету, при этом трафик 4G растет опережающими темпами: за год он вырос в шесть раз при росте трафика 3G лишь на 40%. Данные по использованию услуг связи подтверждают смещение интереса школьников в сторону дата-сервисов: при стремительном росте потребления мобильного интернета наблюдается незначительное снижение темпов роста голосовых услуг и sms-сервисов | май 2015 г. |
| Яндекс | Система Yandex Data Factory для прогнозирования заторов и ДТП, созданная по заказу Федерального дорожного агентства (Росавтодор) | Клиентский сервис | Для построения системы использовались разнородные данные, собранные за несколько лет. Это сведения о загруженности дорог, метеосводки, база меток ДТП на «Яндекс.Картах», информация о качестве дорожного покрытия, количестве полос и разметке. Предсказания помогут Росавтодору предотвратить нежелательные ситуации на дороге или минимизировать их последствия. Например, опираясь на прогноз пробок и ДТП, можно решить, как в снежную погоду эффективно распределить спецтехнику | 2014–2015 гг. |
Тенденцию на увеличение спроса российских компаний на аналитику больших данных отмечает и руководитель департамента корпоративных решений Dell в России, Казахстане и Центральной Азии Михаил Орленко. «Спрос заказчиков на технологии больших данных уверенно растет: мы отмечаем интерес заказчиков к предлагаемым нами продуктам и решениям как в аппаратной части, то есть серверы и системы хранения данных прежде всего, так и в части программных решений», — комментирует он.
Одновременно интеграторы отмечают и некоторые сложности: кажется, клиенты не всегда понимают, что применение больших данных не является альтернативой классическим реляционным базам данных и традиционной аналитике, но должно работать вместе, оптимизируя уже существующие внутри компании подходы к обработке данных. Такую тенденцию подчеркивает Сергей Строганов. «Большие данные до сих у многих ассоциируются с традиционной аналитикой», — подытоживает он. Михаил Орленко из Dell, напротив, отмечает, что требования и ожидания со стороны клиентов приобретают все более четкий и формализованный вид.
По словам Дениса Реймера, многие компании-заказчики находятся сейчас в самом начале пути осмысления больших данных. «Тем приятнее, что на российском рынке появляются лидеры, которые не только решают свои задачи по аналитике с нашей помощью, но и формируют у себя подразделения по работе с большими данными, стратегически выстраивая процесс извлечения новых знаний», — добавляет он.
По словам Сергея Строганова, особым спросом пользуются пилотные проекты по применению свободно распространяемого ПО для реализации хранилищ данных, оптимизация и расширение возможностей корпоративных хранилищ данных, сбор информации для анализа работы оборудования с целью выявления отказов и прогнозирования отказов в будущем. «Также интересны проведение расширенного анализа, исследований и апробации идей в различных предметных областях бизнеса, в том числе создание «песочницы» для аналитиков и систем campaign management, применение методик data mining, knowledge discovery, predictive analysis», — перечисляет он. Выбор российских заказчиков находится вполне в русле общемировых трендов развития индустрии больших данных.
Клиент всегда прав
Традиционно интерес к аналитике больших данных одними из первых проявляют ритейлеры. По словам экспертов, потребительские привычки покупателей за последние несколько лет претерпели серьезные изменения, и те инструменты прогнозирования, которые раньше были эффективны, сегодня больше не работают. Однако в корне этих изменений лежит и ключ к возможному успеху компаний в новых условиях: «переход» покупателей в онлайн и мобильные каналы продаж позволяет бизнесу получать намного больше информации о клиентах, наблюдать за их поведением в социальных сетях и даже фиксировать географию их перемещений. Кроме того, сложившаяся экономическая ситуация также подстегивает бизнес к поиску экономически эффективных решений. Использование технологий больших данных в этом контексте может существенно понизить стоимость привлечения клиентов.
«Большие данные позволяют обогатить накопленную в компании информацию о своих клиентах внешними данными и получить более точное понимание и ответ на вопрос «На какое предложение данный конкретный клиент отреагирует с большей вероятностью» (предиктивная аналитика). Применение машинного обучения позволяет оптимизировать прогнозные модели под поведение всей клиентской базы (которая у каждого заказчика уникальна) и существенно повысить точность таких моделей», — говорит Денис Реймер. По мнению CEO и основателя Flocktory Саймона Проекта, сегодня большие данные могут помочь ритейлерам моделировать персонализированный покупательский опыт. «Наши алгоритмы умеют предсказывать покупательское поведение и делать максимально таргетированные предложения в самый подходящий для этого момент», — говорит он.
По мнению экспертов, российским компаниям еще предстоит научиться правильно формулировать задачи применения технологий больших данных, и только те, кто сумеет это сделать, получат конкурентное преимущество. Однако процесс уже идет: они активно используют доступные им инструменты и адаптируют мировой опыт к своим потребностям.
Поделиться
