Поделиться
Система мониторинга эффективности задач на суперкомпьютере НИУ ВШЭ включена в реестр российского ПО
Разработанная в Высшей школе экономики система мониторинга эффективности задач на суперкомпьютере HPC TaskMaster включена в реестр российского программного обеспечения. Для этого был выполнен большой комплекс подготовительных работ. Доказав эффективность системы, Вышка готова распространять ее и в другие университеты и компании. Об этом CNews сообщили представители НИУ ВШЭ.
С момента появления суперкомпьютеров важнейшей задачей является обеспечение эффективности их использования. Для крупных вычислительных кластеров разрабатываются собственные системы мониторинга. Суперкомпьютер «cHARISMa», который используется сотрудниками, преподавателями и студентами Высшей школы экономики для проведения научных исследований, не стал исключением.
Отечественная программная система HPC TaskMaster была разработана и внедрена в 2022 г. Она помогает пользователям суперкомпьютера эффективнее выполнять вычисления: предоставляет информативные отчеты о выполненных задачах, указывает на ошибки, выдает рекомендации по повышению эффективности.
«Наша система сама может рекомендовать пользователям суперкомпьютера, что нужно улучшать в их вычислительных задачах, а при серьезных ошибках даже прекращать некорректно запущенные вычисления одного пользователя в пользу запуска эффективных задач другого. Этот подход позволяет не допускать простоя оборудования, повышает количество одновременно выполняемых исследований», – сказал Павел Костенецкий, начальник отдела суперкомпьютерного моделирования НИУ ВШЭ.
Кроме того, система позволяет эффективнее использовать ресурсы суперкомпьютера в целом, экономя дорогостоящее машинное время. По статистике, в первом полугодии 2023 г. система позволила повысить эффективную производительность суперкомпьютера на 20,5%.
Для включения в реестр программа должна удовлетворять множеству законодательных и технических требований. Поэтому специалистам пришлось выполнить довольно объемный комплекс работ по пересмотру используемых технологий и подробному документированию разработанной системы. Например, пришлось отказаться от использования в качестве базовой операционной системы Linux Ubuntu из-за лицензионных ограничений. Была улучшена безопасность кода, сформирован тестовый набор данных для демонстрации работы эксперту, разработаны варианты развертывания системы как в docker-контейнере, так и в виде образа виртуальной машины.
«Доказав эффективность системы у нас, мы готовы ее распространять и в другие университеты и компании. Таким образом мы хотим поделиться своим опытом и повысить эффективность заинтересованных научных и производственных коллективов. Включение HPC TaskMaster в Реестр российского программного обеспечения — существенный шаг в этом направлении. Адаптация программного обеспечения и его описание под требования реестра — трудоемкий процесс, но он показывает, что продукт соответствует всем требованиям российского законодательства и готов к использованию за пределами Вышки», – отметил Дмитрий Бондарь, старший директор по цифровой трансформации НИУ ВШЭ.
Короткая ссылка
