Поделиться
В два раза эффективнее: ITglobal.com протестировал ускорители Nvidia L40S в задачах ИИ
Международный облачный провайдер и системный интегратор ITglobal.com, входит в корпорацию ITG, завершил тестирование графических ускорителей Nvidia L40S для задач искусственного интеллекта и машинного обучения. Исследования показали, что конфигурация с двумя ускорителями L40S обеспечивает производительность до 1,8 раз выше по сравнению с одним Nvidia A800 при работе с большими языковыми моделями (LLM) при сопоставимой стоимости оборудования. Об этом CNews сообщили представители ITglobal.com.
Тестирование проводилось с двумя нейросетями: LLaMA 3.1 70B и Qwen 2.5. При обработке больших объемов запросов система на базе L40S не только сохранила высокую производительность, но и демонстрировала значительное преимущество над более дорогим решением A800. Этот результат особенно важен для компаний, которые используют ИИ-ассистентов в клиентском сервисе или автоматизации бизнес-процессов, где скорость ответа напрямую влияет на эффективность работы.
Впечатляющие результаты L40S показали при работе с моделью Qwen 2.5, которая часто используется в корпоративных чат-ботах и системах анализа документов. В условиях высокой нагрузки, характерной для промышленного применения, система на базе двух L40S не только сравнялась по производительности с A800, но даже превзошла его, что делает решение на базе L40S более привлекательным с точки зрения соотношения производительности к стоимости оборудования.
«Наше комплексное тестирование подтверждает, что ускорители L40S обеспечивают отличное соотношение цены и производительности для задач искусственного интеллекта, делая технологии машинного обучения более доступными для бизнеса. Благодаря 48 ГБ видеопамяти GDDR6 на каждой карте и высокой производительности в реальных задачах ИИ, эти ускорители представляют собой значительный шаг вперед в демократизации доступа к вычислительным ресурсам для ИИ», — отметил Евгений Свидерский, директор облачного бизнеса ITglobal.com.
ITglobal.com использует различные ускорители Nvidia, включая L40S, A100, A800 и H100, для построения облаков AI Cloud. Клиентам доступны различные конфигурации вычислительных ресурсов: от систем с 10 ГБ видеопамяти на базе A800 для тестирования и небольших моделей до решений с 80 ГБ для глубокого обучения и сложных вычислений. Для особых задач используются конфигурации с технологией NVLink, обеспечивающие до 160 ГБ объединенной видеопамяти. Также доступны серверы с Nvidia L40S (48 ГБ) и H100 (80 ГБ). Платформа включает полный набор инструментов Nvidia AI Enterprise, что позволяет создавать, тестировать и внедрять ИИ-приложения в промышленном масштабе.
Короткая ссылка
