Поделиться
Интеграция данных: о чем болит голова у ИТ-экспертов?
Последние 40 лет в ИТ-индустрии данные всегда понимались в совокупности с приложениями, к которым относились. Получить необходимые вам данные можно было, лишь открыв конкретное приложение, будь то электронная почта или бухгалтерская программа. Такую ситуацию нельзя охарактеризовать как гибкую - информация должна быть доступна всегда и везде – такова главная мысль Data Integration Forum, состоявшегося недавно в МосквеЗадачи интеграции данных сегодня стоят перед каждым крупным предприятием. Поэтому мероприятия, подобные Data Integration Forum, стабильно привлекают внимание ИТ-управленцев. Организатором форума выступила компания Data Integration Software совместно со своими партнерами. Тем не менее, сквозь пелену типичных для такого рода мероприятий докладов можно было рассмотреть реальное положение дел на рынке интеграции данных в целом.
Форум открыл Марк Сигер, вице-президент компании Informatica в регионе EMEA. Одной из основных проблем в проектах по интеграции данных он выделил вопрос о качестве исходных данных, предназначенных для интегрирования: "Точность данных может сильно отличаться от приложения к приложению. Поэтому нередко качество информации остается под большим вопросом. Довольно часто данные из одного корпоративного источника не подлежат повторному использованию в другом месте. В большинстве случаев просто сложно понять даже то, какая именно информация хранится в организации!"
Павел Лихницкий: Успешный интеграционный проект дает реальную выгоду бизнес-подразделению
На вопросы CNews ответил Павел Лихницкий, генеральный директор Data Integration Software, Informatica Россия.
CNews: Какие тенденции в сфере интеграции данных наиболее значимы сегодня, на ваш взгляд?
Павел Лихницкий: Все больше компаний используют промышленные средства интеграции данных с минимальным ручным написанием программного кода. Это снижает риски затягивания проектов, зависимость от конкретной команды разработчиков, а соответственно, все возрастающие затраты, зачастую превышающие первоначальный бюджет на 100%. Также все больше компаний осознают важность управления метаданными, обеспечения качества данных, организации единого пространства НСИ, и все это на базе единой платформы, а не разрозненных кусков кода, решающих локальные задачи. Низкая стоимость поддержки подобных целостных решений, простота развития, централизованное управление и контроль – все это делает промышленные платформы интеграции данных все более востребованным инструментом повышения эффективности бизнеса. При этом промышленная платформа интеграции должна обеспечивать выгрузку, обработку и трансформацию больших объемов данных и их загрузку в любые источники, необходимые в том или ином проекте. Также есть требования по быстродействию, встроенным механизмам контроля качества данных, возможностям простого и безболезненного масштабирования и внесения изменений.
Проанализировать качество данных необходимо до того, как будут предприняты шаги по их интеграции, и это сложная задача. Многие компании сталкиваются с ситуацией, когда у них есть масса разрозненной информации, большое количество приложений, которые с ней работают, но при этом никак не связаны между собой. Проблемой является и огромное количество форматов данных, плохая структурированность некоторых баз данных. По статистике, до 80% данных хранятся в неструктурированных форматах. Получается интересная ситуация: информация критически важна для выживания организации, но ее качество, а также то, где именно она хранится – зачастую под вопросом. Создается масса копий данных, различные версии документов.
Почему так важно качество данных для организации? Американский институт хранилищ данных (TDWI, The Data Warehouse Institute) подсчитал, что низкое качество данных обходится американскому бизнесу примерно в 600 млрд. долларов ежегодно. Неструктурированные данные приводят к неправильному выставлению счетов, неудовлетворенности клиентов, невозможности принимать правильные бизнес-решения. "Принимать обоснованные и серьезные бизнес-решения, основываясь на информации плохого качества, - все равно, что водить машину, совершенно не заботясь о том, нужно ли ее заправить топливом, подлить масло и т.д.", - говорит Марк Сигер.
Согласно данным исследовательской компании Ventana Research, до 60% ИТ-бюджетов тратится на интеграцию. Такие цифры неудивительны, так как практически любой ИТ-проект сегодня предполагает определенную степень интеграционных процессов. Однако эти данные говорят и о том, что компании все в большей степени осознают: то, как они управляют своими данными, оказывает прямое влияние на гибкость и подвижность их бизнеса.
Интеграция данных неизбежна
Какие факторы оказывают влияние на потребность в интеграции данных? Здесь можно выделить три основных причины: бизнес-причины, социально-экономические и технологические. Что касается бизнес-причин, то наиболее очевидным случаем, когда возникает необходимость в интеграции, являются слияния и поглощения. Объединяющимся компаниям необходимо объединить и свои данные. Марк Сигер рассказал на примере из личного опыта о тех трудностях, которые могут испытывать компании при слиянии: "Я участвовал в одном из крупнейших слияний в ИТ-мире – Symantec и Veritas. У нас ушло 18 месяцев на то, чтобы объединить биллинговые системы. Все это время мы не могли принимать заказы в обычном режиме на ПО от наших клиентов. Часто мы не могли понять, куда нам направлять звонок, поступивший от клиента, потому что не знали, в какой базе данных его искать и на кого переключать. Время, которое требуется для объединения подобного рода информации, оказывает прямое влияние на цену акций компании, ее капитализацию".
Если говорить о социально-экономических причинах, то миром сегодня правит глобализация. Информация также становится глобальной. Учитывая новые технологические концепции, такие как сервис-ориентированная архитектура и SaaS (Software as a Service, программное обеспечение как сервис), можно сделать вывод: хранить огромные объемы информации сегодня не проблема, тем более, что порой их даже не нужно хранить у себя – можно отдать ряд функций на аутсорсинг.
Перед интеграторами встает задача: нужно интегрировать данные, которые находятся в разных точках, как внутри организации, так и за ее пределами. Решение этой проблемы возможно с внедрением сервисов данных (Data Services) в организации. Аналогично тому, как внедрялись когда-то ИТ-сервисы для инфраструктуры, пришло время внедрять сервисы данных. Возможность просматривать информацию независимо от ее местонахождения должен обеспечить специальный механизм, переводящий информацию из подсистемы в подсистему. Для этого нужно централизованно объединять и выравнивать форматы данных в рамках организации. Затем следует определить стандартные правила определения качества информации. Необходим функционал для повторных преобразований информации с дальнейшим ее использованием. Платформа сервисов данных должна быть единой для всех приложений, с которыми работает пользователь.
Различные бизнес-установки, как то желание модернизировать бизнес и сократить расходы на ИТ, увеличить прибыльность, уже упомянутые слияния и поглощения, приводят к соответствующим инициативам в сфере ИТ и далее заканчиваются проектами по интеграции данных.
Каким образом необходимо осуществлять интеграционные проекты? Его можно разбить на несколько этапов. Во-первых, необходимо получить доступ к хранящейся информации, структурированной и неструктурированной. Далее следует этап изучения источников информации. Необходимо понять, какая информация, какого качества и в каком месте хранится в организации. Следующий этап – очистка информации для обеспечения ее надлежащего качества. Затем идет преобразование информации – из множества форматов в один единый. И последний этап – это доставка информации в те приложения, в которые требуется. Поверх этих этапов идут требования к аудиту, мониторингу и отчетности – необходимо, чтобы в каждый момент времени было понятно, что компания делает с информацией.
Российские тенденции
В России есть свои особенности ведения проектов по интеграции данных, но во многом используется западный опыт. К наиболее распространенным ИТ-задачам, требующим интеграции данных, можно отнести: построение корпоративного хранилища данных – для операционной отчетности и аналитических задач; так называемый Master Data Management – синхронизация справочников и создание мастер-справочников, а также управление качеством данным (через профилирование и очистку).
Короткая ссылка
