Первые результаты AA-AgentPerf для суперкомпьютера NVIDIA Vera Rubin NVL72

Тестирование суперкомпьютера NVIDIA Vera Rubin NVL72 на реальных агентных нагрузках: система обеспечивает до 5.7x большей суммарной пропускной способности на мегаватт по сравнению с GB300 NVL72.

Архитектура стойки Vera Rubin NVL72 в сравнении с GB300 NVL72

Vera Rubin NVL72 сохраняет форм-фактор серверной стойки GB300 NVL72, объединяя 72 графических процессора Rubin и 36 центральных процессоров Vera в едином высокоскоростном домене NVLink. Каждый GPU Rubin оснащён 288 ГБ сверхбыстрой памяти HBM4 с увеличенной в 2.4 раза пропускной способностью (19.2 ТБ/с против 8 ТБ/с у Blackwell Ultra), шиной NVLink 6 со скоростью 3.0 ТБ/с и в 2.3 раза более плотными вычислениями в формате NVFP4. Процессор Vera удваивает пропускную способность интерфейса NVLink-C2C до 1.8 ТБ/с на суперчип, что критично для выгрузки KV-кэша в оперативную память CPU.

Специфика агентных нагрузок: почему их сложно обслуживать

Кодинг-агенты работают в непрерывном цикле: нейросеть рассуждает и вызывает инструмент, среда исполнения запускает его, добавляет результат в контекст диалога, и весь накопленный контекст снова отправляется модели для следующего шага. По мере того как агент читает файлы репозитория, запускает тесты и вносит правки в код, контекст стремительно разрастается с 10 000 до 130 000+ токенов, при этом сами ответы модели остаются лаконичными (короткий вызов функции).

В реальных траекториях кодинга в среднем 97% входных токенов каждого запроса полностью повторяют контекст предыдущего шага. Если серверный стек удерживает этот префикс в KV-кэше, ему требуется рассчитать лишь несколько новых токенов на каждом шаге (префилл), а не пересчитывать многомегабайтный контекст заново. В типичной длинной сессии агент отправляет модели суммарно 9.7 млн токенов (из которых новыми являются лишь 116 тыс.), а модель генерирует всего 20 тыс. выходных токенов.

Результаты тестов на четырёх ведущих моделях

Замеры сопоставляют суммарную пропускную способность серверной стойки в расчёте на мегаватт потребляемой мощности GPU и скорость генерации для отдельного пользователя (25-й перцентиль p25, исключая время ожидания первого токена)

• На пиковой пропускной способности Vera Rubin NVL72 выдаёт 272 млн токенов/с на МВт на модели DeepSeek V4 Pro против 239 млн у GB300 NVL72 (преимущество 1.14x), 571 млн против 395 млн на DeepSeek V4.1 Flash (1.45x), 272 млн против 201 млн на GLM-5.2 (1.35x) и 70 млн против 56 млн на Kimi K3 (1.26x).
• На высоких скоростях генерации преимущество Vera Rubin многократно возрастает: при скорости ~190 ток/с на пользователя система опережает GB300 в 5.7 раз на DeepSeek V4 Pro, в 5.4 раза на DeepSeek V4.1 Flash (при 580 ток/с), в 3.0 раза на GLM-5.2 и в 2.8 раза на Kimi K3. Переход со 120 до 165 ток/с на GB300 отнимает 81% пропускной способности, тогда как на Vera Rubin потеря составляет всего 16%.
• Абсолютные рекорды скорости: конфигурации Vera Rubin установили новые исторические максимумы скорости вывода на одного пользователя: 906 ток/с для DeepSeek V4.1 Flash, 408 ток/с для GLM-5.2 и 255 ток/с для гигантской модели Kimi K3.

Оптимизация программного стека под агентные нагрузки

Высокие показатели Vera Rubin достигаются не только "железом", но и глубокой адаптацией инференс-стека

• Многоуровневый KV-кэш: с учётом 97% повторения данных префиксы выгружаются из дорогой видеопамяти HBM в оперативную память хоста через NVLink-C2C на скорости 1.8 ТБ/с параллельно с вычислениями. На воркерах DeepSeek V4 Pro выделяется от 120 до 200 ГБ системной памяти под кэш контекстов.
• Интеллектуальная маршрутизация с учётом кэша (NVIDIA Dynamo): агентные сессии возвращаются к одному и тому же контексту шаг за шагом. Роутер Dynamo направляет входящий запрос ровно на тот воркер, где уже сохранён максимальный объём его KV-кэша.
• Дезагрегированный инференс (Disaggregated Serving): фаза обработки промпта (prefill) и фаза генерации (decode) разнесены на разные группы GPU. Когда агент возвращает огромный файл с выводом тестов, тяжёлый префилл не блокирует генерацию токенов для десятков других параллельных пользователей. Эксперты моделей MoE распределяются по 16–32 GPU генерации.
• Спекулятивное декодирование: малые драфт-модели генерируют от 3 до 7 токенов-кандидатов за шаг, ускоряя декодирование в разы при низкой загрузке очередей.
• Специализированные ядра NVFP4: чекпоинты моделей сжаты в 4-битный формат с оптимизированными ядрами внимания под архитектуру Rubin, поддерживающими контексты от единиц токенов до 1 миллиона.

Сводная таблица серверных конфигураций Vera Rubin по моделям