Поделиться
Хранилища данных: шаги от идеи до внедрения
От качества владения информацией зависит многое в бизнесе: быстрота решений, анализ результатов, чёткость и глубина представления "картины" бизнес-связей и т.п. С хранилищами данных связывали и продолжают связывать большие надежды в сфере развития информационной индустрии.Готовимся к созданию хранилища
Создание хранилища данных и соответствующей инфраструктуры начинается с тщательного планирования и определения сроков работ. Первое – как уже говорилось выше – надо четко определить цели визуализации данных. Должна быть проанализирована отчетность компании. Целесообразно разбить отчетность на обязательную (предоставляемую в контролирующие органы) и внутрикорпоративную. Далее идет разделение по срокам (ежедневная, ежемесячная, ежеквартальная и т.д.). Внутрикорпоративная информация также разделяется по отделам (подразделениям) для создания витрин данных. Уже на этом этапе нужно выявить и избавиться по возможности от дублирования отчетности.
Упрощенная классификация корпоративной отчетности
Источник: CNews Analytics
Планирование должно осуществляться с учетом возможного расширения бизнеса. Сроки и средства, закладываемые на создание хранилища данных, очевидно, находятся в плотной связи с текущим состоянием информационной системы компании и могут очень сильно различаться. Имеет смысл все работы по созданию хранилища разбить на этапы. Каждый этап должен завершаться тестированием, которое подразумевает опытную загрузку информации в хранилище, получение необходимых рассчитанных значений с помощью хранилища, различные экспериментальные выборки. Тестовые задания должны быть подготовлены с особой тщательностью, чтобы выявить все ошибки, которые могли быть внесены на различных стадиях разработки.
Выбираем маршрут
Непосредственно построение хранилища для упрощения задачи можно начинать с проектирования витрины данных для одного из отделов компании, т о есть создания некого "облегченного" прототипа хранилища, сфокусировав усилия на решении аналитических задач определенного подразделения. Другими словами, информационную систему можно разбить на составные части – объекты системы - и, сосредоточившись на одной из таких частей, отработать технологию.
Другой путь – это начать с описания всей системы, всех имеющихся данных, отработать взаимосвязь этих данных и затем приступать к созданию единого хранилища. Этот процесс более сложный, но представляет из себя объективный взгляд на систему в целом. Здесь, думается, как и во многих случаях, хорош принцип "золотой средины". Например – начать с проектирования хранилища и витрины данных для пилотного проекта, но не в каком-то автономном виде, а в связи с данными других отделов и с заранее приведенной в порядок единой Нормативно-справочной системы (НСИ) компании. Любое изменение в пилотном проекте, а также изменения в других объектах системы следует отслеживать в разрезе взаимодействия друг с другом и влияния на систему в целом, причем выделить это в отдельный процесс, с детальным протоколированием. Таким образом, на базе одного из отделов можно будет выработать некое стандартное решение и использовать это решение в дальнейшем для построения общего хранилища и витрин данных для других подразделений.
Этапы создания хранилища данных
Отдельно хотелось бы отметить процесс проектирования процедур извлечения, загрузки и преобразования данных (ETL – extract, transform and load) . На этом этапе решаются проблемы совместимости данных из разных источников, то, каким образом будут осуществлены данные процедуры, с помощью каких средств. Наряду с анализом и стандартизацией информации это один из самых трудоемких и ответственных этапов, а также один из наиболее затратных по времени.
Что касается завершения работ и сдачи в эксплуатацию, то на этом этапе процесс создания не заканчивается, а переходит в стадию постоянного развития, поскольку бизнес развивается, растут и изменяются различные требования к информационной системе, улучшаются различные процедуры выборки и подготовки данных.
Короткая ссылка
