Поделиться
«Инфосистемы джет» создали «озеро данных» для НЛМК
Эксперты «Инфосистемы джет» разработали для НЛМК систему анализа данных и моделирования (САДиМ), которая отвечает за доступность и качество данных, а также предоставляет инструментарий для вычислений и анализа.
В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML).
Для решения задачи центр программных решений ИТ-компании «Инфосистемы джет» совместно с командой НЛМК создали Data Lake («озеро данных») емкостью 300 ТБ на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы такие сервисы, как Apache Kafka, Apache NiFi, Apache Hive.
В рамках проекта специалисты запустили регулярную загрузку данных в Data Lake из более чем 70 источников (датчиков, а также MES и АСУ ТП), загрузили исторические данные за последние несколько лет работы предприятия и разработали карты данных технологических и производственных процессов отдельных цехов.
В рамках проекта команда «Инфосистемы джет» разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в нее, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т.д.), настроила централизованную ролевую модель и ее интеграцию с Active Directory. Это дало возможность специалистам в области данных оперативнее получать в Data Lake доступ к нужным им данным.
Для контроля работы Data Lake был также настроен комплексный мониторинг состояния сервисов системы в Zabbix, а также разработаны автотесты для контроля целостности и полноты данных. Для особо важных и уязвимых данных была создана возможность резервного копирования: то есть, в случае непреднамеренного уничтожения данных пользователем их можно будет восстановить.
«Создание "озера данных", которое действительно приносит экономическую пользу заказчику – это непростая задача как с технической, так и с организационной точки зрения. И тут дело не только в железе, интеграции и программировании. Очень важна готовность производства собирать и передавать качественные данные, а потом использовать результаты анализа этих данных для принятия производственных решений. В сотрудничестве с коллегами из НЛМК, которые со стороны всех подразделений проявили высокий профессионализм и заинтересованность, нам удалось оперативно создать решение, сделавшее производство действительно цифровым», — сказал Владимир Молодых, директор по разработке и внедрению программного обеспечения «Инфосистемы джет».
Короткая ссылка
