Поделиться
Nvidia устанавливает рекорды в инференсе с графическими процессорами A30 и A10
Nvidia объявила что ее платформа инференса ИИ, которая недавно пополнилась графическими процессорами Nvidia A30 и A10 для серверов, показала рекордную производительность во всех категориях в последней версии MLPerf.
MLPerf - это признанный в отрасли бенчмарк для измерения производительности ИИ в различных задачах, включая компьютерное зрение, медицинскую визуализацию, рекомендательные системы, распознавание речи и обработку естественного языка.
Дебютировав в MLPerf, графические процессоры Nvidia A30 и A10 сочетают в себе высокую производительность с низким энергопотреблением, предлагая предприятиям основные возможности для широкого спектра задач инференса ИИ, обучения, графики и традиционных корпоративных вычислительных задач. Hewlett Packard Enterprise, Inspur и Lenovo планируют интегрировать графические процессоры в свои серверы большого объема уже этим летом.
Nvidia достигла этих результатов благодаря преимуществам платформы ИИ Nvidia, охватывающей широкий спектр графических процессоров и программного обеспечения ИИ, включая TensorRT и Nvidia Triton Inference Server, которые взяты на вооружение ведущими компаниями, такими как Microsoft, Pinterest , Postmates, USPS и WeChat.
«Поскольку ИИ продолжает трансформировать все отрасли, MLPerf становится еще более важным инструментом для компаний, позволяющим принимать обоснованные решения об инвестициях в ИТ-инфраструктуру, - сказал Ян Бак (Ian Buck), директор и вице-президент по ускоренным вычислениям в Nvidia. - Теперь, когда результаты MLPerf предлагает каждый крупный OEM-производитель, Nvidia и партнеры компании хотят не только на обеспечить лучшую в мире производительность для ИИ, но и на демократизировать ИИ с помощью новой волны корпоративных серверов на базе новых графических процессоров A30 и A10».
Nvidia - единственная компания, представившая результаты всех тестов в категориях ЦОД и edge-систем, показывая высочайшую производительность во всех рабочих нагрузках MLPerf.
Некоторые результаты также включают данные Triton Inference Server, который упрощает развертывание ИИ в приложениях благодаря поддержке моделей из всех основных фреймворков, работающих на GPU и CPU, и оптимизации для различных типов запросов, включая пакетные данные, данные в реальном времени и потоковую передачу. Результаты Triton показывают производительность, близкую к наиболее оптимизированным GPU-системам, а также CPU-системам с сопоставимыми конфигурациями.
Nvidia также открыла новые возможности, представив результаты, полученные при использовании технологии Multi-Instance GPU архитектуры Nvidia Ampere, одновременно запустив все семь тестов MLPerf Offline на одном графическом процессоре с использованием семи инстансов MIG. Конфигурация показала почти идентичную производительность по сравнению с одним инстансом MIG.
Эти результаты демонстрируют производительность и универсальность MIG и позволяют администраторам инфраструктуры выделять нужные объемы вычислительной мощности GPU для конкретных приложений, чтобы получить максимальную отдачу от каждого графического процессора ЦОД.
Помимо собственных результатов Nvidia, партнеры компании Alibaba, DellEMC, Fujitsu, GIGABYTE, HPE, Inspur, Lenovo и Supermicro представили в общей сложности более 360 результатов с использованием графических процессоров Nvidia.
Графические процессоры Nvidia A100 доступны в серверах от ведущих производителей и в облаке от всех основных поставщиков облачных услуг. Кроме того, графические процессоры A100 представлены в системах Nvidia DGX, включая Nvidia DGX Station A100, Nvidia DGX A100 и Nvidia DGX SuperPOD.
GPU A30 и A10 появятся в широком спектре серверов уже этим летом, включая сертифицированные Nvidia системы, которые проходят тщательное тестирование для обеспечения высокой производительности в широком диапазоне рабочих нагрузок.
Системы Jetson AGX Xavier и Jetson Xavier NX можно приобрести у дистрибьюторов по всему миру. Nvidia Triton и Nvidia TensorRT доступны в NGC, каталоге программного обеспечения Nvidia.
Короткая ссылка
