Разделы

Цифровизация Электроника Техника

Стартап создал суперкомпьютер, умеющий переводить естественный язык и писать программный код

Суперкомпьютерный стартап представил систему, оптимизированную под ИИ на базе собственных процессоров, каждый из которых насчитывает 850 тыс. ядер и 2,6 трлн транзисторов.

Большим данным — большие процессоры

Стартап Cerebras Systems представил новый суперкомпьютер Andromeda на базе собственных процессоров WSE-2. По утверждению разработчика, эти процессоры специально созданы для запуска приложений, связанных с искусственным интеллектом (ИИ).

Основу Andromeda составляют 13,5 млн процессорных ядер, и, как утверждают в Cerebras, производительность компьютера при запуске ИИ-приложений может превосходить один экзафлоп в секунду. На сегодняшний день наиболее производительным считается система Frontier, построенная в Окриджской национальной лаборатории в США. Ее официальная топовая производительность — 1,102 экзафлопа в секунду при выполнении любых операций. Экзафлоп (или экзафлопс) — это квинтиллион (10^18) операций с плавающей запятой в секунду.

По утверждению Cerebras, Andromeda позволит обучать макромасштабные языковые модели, способные в будущем переводить натуральную речь или генерировать программный код.

tserebras_600.jpg
Создан сверхпроизводительный суперкомпьютер для ИИ на очень больших процессорах

Каждый процессор WSE-2 насчитывает 850 тыс. ядер и 2,6 трлн транзисторов, что на 2,5 трлн больше, чем у любого, даже самого производительного графического процессора на рынке. Cerebras утверждает, что их разработка — самый продвинутый и производительный ИИ-процессор на рынке, а также самый крупный, в 56 раз больше самого большого GPU.

Каждый процессор оснащен 40 гигабайтами встроенной высокоскоростной памяти. Всего Andromeda насчитывает 16 таких процессоров, а кроме них — 18 176 процессоров AMD Ryzen.

Линейное масштабирование

В Cerebras Systems утверждают, что Andromeda поддается почти идеальному линейному масштабированию и, соответственно, продемонстрирует большую эффективность в некоторых аспектах работы с ИИ-приложениями, чем инфраструктурные системы для работы с ИИ других типов.

Продвинутые языковые модели, например, слишком сложны для запуска на одном процессоре, даже очень мощном. Как правило, задачи, связанные с ними, запускаются на множестве процессоров (обычно GPU) параллельно. Работу этих процессоров необходимо координировать, чтобы обеспечить точность вычислений.

Александр Осипов, МегаФон: Эффективность киберзащиты вырастет, если снизится рутинная нагрузка на специалистов
безопасность

Но это само по себе крайне непростая задача, требующая интенсивных вычислительных ресурсов. Чем больше GPU задействованы одновременно, тем выше требования к ресурсам, расходуемым на синхронизацию. То есть, значительная часть вычислительных возможностей суперкомпьютера уходит именно на синхронизацию, и добавление новых процессоров с определенного момента перестает приводить к существенному росту общей производительности системы.

Суперкомпьютеры Andromeda уже поставлены в три исследовательские организации в США. Примечательно, что Cerebras считается стартапом. Основу финансирования его деятельности составляют венчурные инвестиции на общую сумму около $720 млн.

«Именно то, что в Andromeda используются только 16 макропроцессоров, снижает требования к ресурсам, расходуемым на их синхронизацию, — поясняет Алексей Водясов, технический директор компании SEQ. — А значит, возможным становится почти полностью линейное масштабирование: то есть, можно добавить еще столько же процессоров, и топовая производительность достигнет почти 2 экзафлопсов. Можно предположить, что линейным будет и рост расхода энергии на охлаждение».

Роман Георгиев