Поделиться
Владимир Янушкевич: СВФУ станет крупнейшим исследовательским центром в России
Развитие системы образования, сохранение российской научной школы, особенно в фундаментальных областях, сегодня является одной из приоритетных задач развития государства. Образование и наука всегда были очень тесно связаны, а сейчас иногда трудно понять, где заканчивается учеба и начинается научная работа. Современная наука требует все больше ресурсов для вычислений и обработки данных, и обычные персональные компьютеры с ними уже не справляются. В 2011 году в Северо-Восточном федеральном университете (Якутск) запущен один из мощнейших в СНГ суперкомпьютеров, построенный специалистами компании "Инлайн Груп". В мае 2012 года в СВФУ создано полноценное университетское "облако". Владимир Янушкевич, первый заместитель генерального директора компании, рассказал CNews об этом уникальном проекте.CNews: Владимир, расскажите, пожалуйста, подробнее об архитектуре построенного вами суперкомпьютера.
Владимир Янушкевич: Этот суперкомпьютер состоит из 160 серверных узлов, собранных на основе НР BL2x220. Суммарно обработка данных осуществляется 1920 ядрами. Поскольку суперкомпьютер планируется использовать для решения задач моделирования сложных пространственных объектов, то для их визуализации построена отдельная графическая подсистема сопоставимой мощности: 39 узлов HP SL390 с ГПУ Тесла М2070. Пиковая производительность суперкомпьютера достигает 50 терафлоп (триллионов операций в секунду). Этого достаточно, чтобы решать практически любые научные задачи, которыми занимается университет. Данные хранятся на дисковом массиве емкостью 100 терабайт. Про платформу и программное обеспечение я расскажу чуть позднее, а пока дополнительно остановлюсь на инженерных решениях. Весь этот комплекс потребовал специально оборудованного помещения со своей системой бесперебойного питания и кондиционирования. Особенность Якутии – колоссальные перепады температуры в течение года, которые нам в средней полосе и не снились. Зимой температура достигает -60, летом +40. Понятно, что к системе кондиционирования предъявляются особые требования. Должен с гордостью отметить, что с этой задачей наши инженеры справились. Кроме кондиционирования параллельно была развернута система бесперебойного питания на оборудовании APC.
Для охлаждения высоконагруженных серверных шкафов (до 22 кВт на стойку) в ЦОД используются чиллерные кондиционеры APC by Schneider Electric с применением системы изоляции горячего воздуха на уровне двух рядов. Система изоляции горячего воздуха APC by Schneider Electric на уровне двух рядов носит название HACS (Hot Aisle Containment System). Данная система позволяют исключить перемешивание горячего и холодного потоков воздуха, при этом повышая допустимую плотность тепловыделений в кВт на стойку. Также одним из основных плюсов использования данной системы является повышение эффективности внутрирядных кондиционеров за счет повышения температуры входящего в кондиционер воздуха (выходящий из серверных стоек горячий воздух не улетучивается в помещение).
Под задачи геофизики всегда привлекались очень серьезные вычислительные ресурсы, и теперь университетские специалисты смогут, наконец, работать на собственном комплексе
CNews: С какими еще трудностями вам пришлось столкнуться в процессе работы над проектом?
Владимир Янушкевич: Серьезной проблемой стала логистика, завязанная все на тот же климат. Дело в том, что доставить крупногабаритные грузы в Якутск можно только в течение ограниченного времени: город находится на левом берегу Лены, дорога на "большую землю" - на правом. А мостов через реку пока нет. Нам, к счастью, удалось вписать план проекта в эти природные условия.
CNews: Привлекались ли для работ по строительству компьютера студенты и сотрудники университета?
Владимир Янушкевич: Не привлекались. Работы велись в очень жестком графике совместными усилиями с инженерами компании HP и сотрудниками Института системного программирования РАН, имеющими специфический опыт. Мы обучали сотрудников и учащихся университета работе на компьютере, поскольку вести научные проекты будут именно они. Для тестирования и обучения пользователей компьютер собирался на базе Центра коллективного пользования программы «Университетский кластер» - ВЦ Академии Наук в Москве, и здесь же обучались университетские специалисты. На сегодня мы обучили несколько десятков человек.
CNews: Владимир, под какие задачи планируется использовать мощности суперкомпьютера?
Владимир Янушкевич: Задач, требующих именно таких мощностей, в университете решается много. Прежде всего, они ставятся геологами и геофизиками. В университете есть кафедра, занимающаяся нефтегазовыми проблемами, есть серьезные разработки по моделированию нефтегазовых месторождений, контролю параметров месторождений в ходе эксплуатации. Под задачи геофизики всегда привлекались очень серьезные вычислительные ресурсы, и теперь университетские специалисты смогут, наконец, работать на собственном комплексе. Близкая область – энергетика. Университет заключил соглашение с компаниями Schlumberger и Roxar, которые предоставили академические лицензии на свое программное обеспечение. Сотрудники Суперкомпьютерного центра и профильных кафедр уже прошли обучение. Кроме того, университетским комплексом заинтересовались корейские партнеры. Возможно, они будут привлекать студентов и арендовать часть мощностей под свои задачи. Одной из перспективных областей является биофизика и медицина.
Cергей Щербаков, руководитель группы системных инженеров, IT Business, Schneider Electric
В целом, эксперты APC by Schneider Electric для повышения энергоэффективности дата-центров рекомендуют следующие меры. Для начала, как это ни странно, нужно поднять температуру в машинном зале. Такую же рекомендацию, кстати, дает и международная организация ASHRAE. Она адресована, в основном, производителям серверного оборудования. Расчеты показывают, что при 27-28 градусах Цельсия на входе ИТ-оборудование функционирует совершенно нормально, при этом система кондиционирования работает гораздо более эффективно. И этому есть вполне простое объяснение. Если увеличить температуру воздуха, поступающего на кондиционер, то температура воздуха на выходе из кондиционера синхронно поднимается. При этом температура охлаждающей решетки кондиционера остается фиксированной, вследствие чего эффективность работы кондиционера повышается за счет большей разницы температур между охлаждаемым воздухом и охлаждающей решеткой.
Так что с точки зрения энергоэффективности правильнее изолировать именно горячий коридор. Впрочем, многое зависит от ситуации: на площадках, охлаждаемых через фальшпол, гораздо проще выполнить герметизацию именно холодного коридора. В таком случае такой показатель EER будет ниже, чем в случае изоляции горячего коридора, но определенная экономия и в этом случае будет получена.
Обязательно следует «Отделить горячее от холодного». Речь идет об эффективном разделении охлажденного воздуха от нагретого. Обычно это достигается с помощью организации горячих и холодных коридоров и – при повышении энергонагруженности свыше 10-12 кВт/стойку – герметизации коридоров.
Также стоит максимально приблизить источник тепла и источник холода, то есть сервера и систему кондиционирования. Минимизация физических препятствий между ними позволяет снизить потери и добиться удивительных результатов. Рядные кондиционеры идеально воплощают этот принцип: благодаря максимальному приближению к серверной стойке работа вентиляторов по проталкиванию воздуха сводится к минимуму.
Наконец, система мониторинга дает представление о том, каково энергопотребление каждой из нагрузок, и уже осознанно позволяет внедрять те или иные стратегии для повышения энергоэффективности. А дальше уже встает задача увеличения энергоэффективности в процессе эксплуатации.
Короткая ссылка
