Независимый анализ ведущих GPU для ИИ: NVIDIA против AMD

Введение

В этом анализе мы оцениваем производительность систем AMD MI300X, NVIDIA H100 и NVIDIA H200 с помощью нагрузочного теста системы искусственного анализа. Целью этого сравнительного анализа является сравнение ключевых показателей производительности, важных для корпоративных развертываний при различных системных нагрузках.

Наш сравнительный анализ включал проведение нагрузочного теста системы искусственного анализа на системах NVIDIA 8xH100, 8xH200 и AMD 8xMI300X на двух ведущих моделях большого языка с открытым кодом: DeepSeek R1 и Llama 4 Maverick.

Компания AMD поручила нам провести тестирование AMD MI300X и сравнить производительность системы с результатами тестирования оборудования NVIDIA. AMD предоставила доступ к системе на DigitalOcean. Все бенчмаркинг проводился в соответствии с независимо разработанной и публично задокументированной методологией AI Стата.

Подробная методология, параметры конфигурации и данные о производительности включены в этот анализ для обеспечения прозрачности результатов и поддержки репликации.

Все результаты производительности в этом анализе основаны на нагрузочном тесте системы искусственного анализа (AA-SLT), нашей стандартизированной системе сравнительного анализа, предназначенной для оценки производительности оборудования искусственного интеллекта в реалистичных условиях нагрузки. AA-SLT фокусируется на измерении производительности систем при возрастающей нагрузке, чтобы измерить, как масштабируется пропускная способность системы и производительность каждого запроса. Полная информация о методологии представлена ​​на нашем веб-сайте, а краткое изложение приведено в конце этой статьи.

Иллюстративный обзор нагрузочного теста системы искусственного анализа (пример показывает 4 одновременных запроса)

Результаты сравнительного анализа

Результаты сравнительного тестирования во всех системах демонстрируют четкий компромисс между задержкой на каждый запрос и совокупной выходной пропускной способностью системы или количеством запросов, которые поддерживает система. Системы NVIDIA H100 и H200 обычно обеспечивают более высокую скорость вывода и меньшую сквозную задержку для каждого запроса при более низком уровне параллелизма, тогда как системы AMD MI300X достигают более высокой пиковой пропускной способности системы при высоком уровне параллелизма. Скорости вывода ускорителей NVIDIA и AMD были сопоставимы при средних уровнях параллелизма.

AMD MI300X и NVIDIA H100 и H200 обеспечивают схожие сквозные задержки при меньшем количестве одновременных запросов. Однако AMD MI300X обеспечивает лучшую сквозную задержку при более высоких рабочих нагрузках, особенно если учитывать долю запросов, получивших ответ в период тестирования. Ускорители NVIDIA предлагают преимущества для рабочих нагрузок, чувствительных к задержке, в то время как AMD MI300X предлагает преимущества с точки зрения эффективности, например, для рабочих нагрузок большого размера.

Стоимость одного токена, доставленного системой, можно рассчитать путем деления показателя стоимости на пропускную способность системы. При низком уровне параллелизма ускорители NVIDIA предлагают немного меньшую подразумеваемую стоимость токена, обусловленную немного более высокой пропускной способностью системы. При более высоком уровне параллелизма AMD MI300X предлагает более низкую стоимость за токен.

DeepSeek R1: средняя пропускная способность системы и медианная скорость вывода в сравнении с параллелизмом

Llama 4 Maverick: средняя пропускная способность системы и медианная скорость вывода в зависимости от параллелизма

Подробные результаты сравнительного анализа

Более низкая производительность одновременного выполнения и рабочие нагрузки, чувствительные к задержкам

• При более низком уровне параллелизма (<~250 одновременных запросов) системы NVIDIA H100 и H200 демонстрируют немного более высокие средние скорости вывода на каждый запрос, меньшие средние сквозные задержки и более высокую пропускную способность системы, чем система AMD MI300X, в ходе нашего сравнительного анализа DeepSeek R1 и Meta Llama 4 Maverick.
• DeepSeek R1: при 16 одновременных запросах система NVIDIA H200 достигла средней скорости на запрос ~45 выходных токенов/с при сохранении пропускной способности системы ~600 выходных токенов/с, тогда как система AMD MI300X достигла ~35 выходных токенов/с на запрос и пропускной способности системы ~500 выходных токенов/с.
• Llama 4 Maverick: при 16 одновременных запросах система NVIDIA H100 достигла средней скорости на запрос ~90 выходных токенов/с при сохранении пропускной способности системы ~2150 выходных токенов/с, тогда как система AMD MI300X достигла ~70 выходных токенов/с на запрос и пропускной способности системы ~2100 выходных токенов/с.
• Таким образом, системы NVIDIA предлагают преимущества для рабочих нагрузок, чувствительных к задержке. К ним могут относиться чат-боты, сервисы реального времени и некоторые агентные приложения.

Высокая производительность параллелизма

• Система AMD MI300X достигла пиковой производительности системы на 25–35 % выше, чем системы NVIDIA.
• Система AMD MI300X поддерживала почти идеальную скорость ответа на запросы (т. е. долю отправленных запросов, за которые мы получили >0 выходных токенов в течение 3-минутного окна тестирования) на всем пути к измеренной пиковой пропускной способности, в то время как в системах NVIDIA H200 наблюдалось снижение скорости ответа по мере масштабирования до пиковой выходной пропускной способности системы.
• DeepSeek R1: система AMD MI300X достигла пиковой пропускной способности системы вывода ~ 4100 токенов вывода в секунду при ~ 750 одновременных запросах, а система NVIDIA H200 достигла пиковой пропускной способности системы вывода ~ 3 250 токенов вывода в секунду при ~ 475 одновременных запросах.
• Llama 4 Maverick: система AMD MI300X достигла пиковой пропускной способности системы вывода ~8500 токенов вывода/с при 1000 одновременных запросах, а система NVIDIA H100 достигла пиковой пропускной способности системы вывода ~6500 токенов вывода/с при 250 одновременных запросах.
• Таким образом, система AMD MI300X предлагает преимущества для случаев использования, требующих оптимизации эффективности. Сюда могут входить пакетные рабочие нагрузки, обрабатывающие крупномасштабные данные, и рабочие нагрузки, требующие оптимизации затрат. Более высокая выходная пропускная способность системы, наблюдаемая на AMD MI300X, напрямую приводит к более низкой подразумеваемой стоимости токена.

Точность

• Наша методология сравнительного анализа точности предполагает проведение одинаковых оценок во всех системах.
• Мы сравнили результаты GPQA 64X, MMLU-Pro 16X и MATH-500 16X в системах AMD и NVIDIA. Мы не обнаружили статистически значимой разницы в точности, оцененной с помощью нашего стандартного 95% доверительного интервала.
• Мы проводим несколько повторений оценок, чтобы контролировать отклонения при проведении оценок, возникающие из-за различий в ответах LLM на одни и те же вопросы. Одиночных прогонов оценки недостаточно для сравнения точности между системами, поскольку оценки могут различаться >1 ppt между аналогичными прогонами.

DeepSeek R1 (январь 2025 г.)

DeepSeek R1: сквозная задержка и параллелизм

DeepSeek R1: скорость вывода и параллелизм

DeepSeek R1: скорость ответа и параллелизм

DeepSeek R1: пропускная способность и параллелизм

Лама 4 Маверик

Llama 4 Maverick: сквозная задержка и параллелизм

Llama 4 Maverick: скорость вывода и параллелизм

Llama 4 Maverick: скорость ответа и параллелизм

Llama 4 Maverick: пропускная способность и параллелизм

Методология бенчмаркинга

Нагрузочное тестирование системы искусственного анализа использует подход сравнительного анализа на основе параллелизма.

Этот тест измеряет производительность системы путем поддержания фиксированного количества параллельных запросов, отправляемых в систему на этапе тестирования. После завершения каждого отдельного запроса на машину немедленно отправляется другой запрос. Это гарантирует, что система будет протестирована при стабильной нагрузке, а также сведет к минимуму дисперсию тестов.

Совокупное количество токенов, полученных от системы на каждом этапе, измеряется и влияет на показатель выходной пропускной способности нашей системы. Производительность каждого запроса также измеряется, и это влияет на наши показатели на каждый запрос (обычно представленные в виде медианы или среднего значения).

Тестирование проводится с использованием поэтапного подхода, при котором каждый этап тестирования длится 3 минуты, а количество одновременных запросов масштабируется с каждым последующим этапом тестирования. Сравнительный анализ продолжается до тех пор, пока не будет достигнут потолок выходной пропускной способности системы, при котором при более высоком уровне параллелизма не будет получено никаких дополнительных токенов по сравнению с предыдущими периодами.

Основные технические характеристики

• Продолжительность фазы: 3 минуты (исключая периоды разгона и охлаждения)
• Уровни параллелизма: 1, 2, 4, 8, 16, 32, 64, затем с шагом 50, пока предельная пропускная способность системы не достигнет плато.
• Форма рабочей нагрузки: 1000 входных токенов, 1000 выходных токенов.
• Потоковая передача: бенчмаркинг проводится с включенной потоковой передачей.

Ключевые измеряемые показатели

• Выходная пропускная способность системы: среднее совокупное количество токенов вывода в секунду для всех одновременных запросов на этапе сравнительного анализа.
• Частота ответов: доля запросов, отправленных на этапе сравнительного анализа и получивших ответы (минимум 1 выходной токен).
• Сквозная задержка: время сквозного ответа для каждого запроса с момента отправки запроса.
• Скорость вывода: количество токенов вывода в секунду после получения первого токена для каждого запроса.

Характеристики бенчмаркинга

DeepSeek R1 (версия от января 2025 г.)