Разделы

Цифровизация Инфраструктура Электроника

РСК представила интеллектуальные СХД «по требованию» с поддержкой DAOS

Группа компаний РСК объявила о поддержке в своих решениях RSC Data Storage-on-Demand новой кластерной файловой системы с открытым кодом DAOS (Distributed Asynchronous Object Storage) корпорации Intel. Теперь стало возможным построение не только многослойных систем хранения данных на базе файловой операционной системы Lustre в архитектуре Composable Disaggregated Infrastructure и гибкое управление пулами дисков с интерфейсом NVMe, но и включение в такие слои высокопроизводительных компонент на основе DAOS.

Долгие годы, несмотря на рост номинальной производительности устройств хранения данных, прирост обеспечивался, в основном, за счет повышения производительности последовательных операций чтения-записи. Использование DAOS позволяет уйти от ограничений старых подходов к построению высокопроизводительных систем хранения данных, связанных с работой протокола TCP/IP, архитектурой ядра ОС Linux и ряда других узких мест, ликвидировав так называемые «бутылочные горлышки» для работы в тех случаях, когда приложению необходим высокоскоростной произвольный доступ к данным.

Существенный рост производительности в случае поддержки DAOS стал возможным благодаря нескольким принципам, заложенным в ее архитектуре: максимально возможному уменьшению использования ресурсов центрального процессора, ядра операционной системы, прерываний, переключения контекста в ходе перемещения данных от устройства хранения к месту обработки; хранению данных, к которым требуется произвольный доступ (мета-данные и кэши данных) на устройствах с эффективной поддержкой побайтного доступа (Byte Level Access) – устройствах класса Storage Class Memory; максимально прозрачной трансляции потоковых и блочных операций чтения/записи в устройствах с интерфейсом NVMe.


РСК переносит свой опыт в построении компонуемых дезагрегированных решений и на управление DAOS, а именно предлагает использование для этого программной платформы оркестрации «РСК БазИС». Реализованные до настоящего момента решения на основе DAOS требовали жестко определенного – на уровне установленной аппаратной конфигурации – соотношения между процессорными ресурсами, наличием энергонезависимой памяти с произвольным доступом (Intel Optane DC Persistent Memory, PMEM), твердотельных накопителей с интерфейсом NVMe. В рамках платформы «РСК БазИС» можно применить компонуемый подход для управления DAOS, разделив сервера с PMEM и сервера с устройствами NVMe в пулы, объединённые быстрой сетевой фабрикой. Оснащение серверов высокопроизводительными адаптерами с поддержкой RDMA с одной стороны, накопителями с интерфейсом NVMe и части серверов – энергонезависимой памятью Intel Optane DC Persistent Memorу с другой, позволяет произвести такую дезагрегацию и дальнейшую компоновку «по запросу» без снижения производительности.

Такой подход, во-первых, позволяет уйти от жесткого соотношения накопителей PMEM/NVMe в серверах хранения. Во-вторых, он позволяет значительно увеличить допустимый объем системы хранения данных. Сегодня требования к объему PMEM в DAOS – не менее 6% от объема локальных накопителей с интерфейсом NVMe – серьезно ограничивают максимальное полезное количество дисков на один сервер хранения. При этом, благодаря компонуемости, неиспользуемые в какой-то момент времени диски можно подключить к другому серверу на основе DAOS или Lustre.

Помимо этого, можно вообще разделить сервера с DAOS и сервера c накопителями NVMe на два пула, тем самым максимально устранив ограничения аппаратной архитектуры сервера (ограниченного возможностями шины PCIe, используемой как накопителями, так и сетевыми адаптерами, а также физических ограничений шасси сервера по размещению дополнительных устройств и их охлаждению).

Эти подходы будут раскрыты в докладе РСК на сессии DUG (DAOS User Group), которая состоится 19 ноября во время крупнейшей всемирной виртуальной конференции-выставки SC20 по суперкомпьютерным технологиям и решениям.

Группа компаний РСК впервые принимает участие в статусе Бронзового спонсора в виртуальной всемирной конференции Flash Memory Summit 2020.

ИТ-директор «Ленты» в интервью CNews: Маркетплейсы никогда не смогут стать продуктовыми ритейлерами
Цифровизация

РСК уже более двух лет, с 2018 года, является разработчиком, производителем и интегратором интеллектуальных систем хранения данных «по требованию» (RSC Data Storage-on-Demand). Такие системы уже установлены в Объединенном институте ядерных исследований (ОИЯИ, Дубна), в Санкт-Петербургском политехническом университете Петра Великого (СПбПУ) и Межведомственном суперкомпьютерном центре Российской академии наук (МСЦ РАН).

На данный момент две системы производства РСК являются единственными представителями России в мировом рейтинге IO500 самых высокопроизводительных систем хранения данных – суперкомпьютер «Говорун» с системой хранения данных РСК в ОИЯИ занимает 17 место в этом списке, а суперкомпьютер «Политехник – РСК Торнадо» в СПбПУ находится на 22 позиции. Столь хороших результатов удалось достичь благодаря применению в обеих проектах уникальной технологии создания масштабируемых распределённых и компонуемых «по требованию» систем хранения данных RSC Data Storage-on-demand на основе твердотельных дисков Intel SSD и Intel Optane SSD с интерфейсами NVMe. Суперкомпьютер «Говорун» еще в июне 2018 г., сразу после установки и запуска в эксплуатацию в ОИЯИ, занял высокое 9 место в мировом рейтинге IO500.

Специалисты РСК представили на FMS 2020 свою обновленную интеллектуальную систему хранения данных «по требованию» RSC Tornado AFS, один узел которой может обеспечивать рекордную емкость до 1 Петабайт благодаря использованию 32 твердотельных дисков Intel SSD с интерфейсом NVMe в форм-факторе EDSFF.L (так называемый «рулер»). В таком узле также используются 2 процессора семейства Intel Xeon Scalable 2 поколения, твердотельные диски Intel Optane SSD и модули энергонезависимой памяти Intel Optane DC Persistent Memory. В RSC Tornado AFS реализовано 100% жидкостное охлаждение узла в режиме «горячая вода» с рекордно низким показателем эффективности использования электроэнергии PUE на уровне 1,04.

CNews подготовил инфографику по одной из крупнейших информационных систем России
Цифровизация

Еще одно решение РСК для создания систем хранения данных «по требованию» – гиперконвергентный узел RSC Tornado HS. Он построен на базе 2 процессоров семейства Intel Xeon Scalable 2 поколения, серверной платы Intel Server Board S2600BP с 2 портами 10GigE и (опционально) Intel Quick Assist Support. Такой узел поддерживает до 12 твердотельных дисков «с горячей заменой» (hot-swap) Intel SSD с интерфейсом NVMe, например, Intel SSD DC P4511 (NVMe, M.2) емкостью 1-2 TБ, сконфигурирован как диск; или Intel Optane SSD DC 4801X (M.2) емкостью 375 ГБ, сконфигурирован как диск или память с помощью технологии Intel Memory Drive Technology (IMDT).

Это обеспечивает большой объем быстрой памяти - до 24 ТБ на узел, а также большой объем оперативной памяти на 1 узел благодаря применению Intel Memory Drive Technology (IMDT) – до 4,2 ТБ RAM. Гиперконвергентный узел RSC Tornado HS также работает со 100% жидкостным охлаждением в режиме «горячая вода».

Владимир Бахур