NVIDIA Nemotron 3 Super: лидер в сфере открытого и энергоэффективного интеллекта

NVIDIA выпустила Nemotron 3 Super, модель рассуждения с открытыми весами 120B (12B активная), использующая гибридную архитектуру Mamba-Transformer MoE.

Нам был предоставлен доступ к этой модели перед запуском, и мы оценили ее с точки зрения интеллекта, открытости и эффективности выводов.

Ключевые выводы

• Nemotron 3 Super сочетает в себе открытую методологию и обучающие данные с высоким интеллектом для своего размера и значительно более интеллектуален, чем любая другая модель с сопоставимой открытостью.
• В этом выпуске NVIDIA сосредоточилась на эффективном интеллекте, и в ходе нашего тестирования мы обнаружили, что Nemotron 3 Super обладает более высоким интеллектом, чем gpt-oss-120b, при этом обеспечивая примерно на 10 % более высокую пропускную способность на каждый графический процессор.
• Чтобы проверить эффективность этой модели, мы разработали простой, но реалистичный тест для одноранговых моделей. В нашем нагрузочном тесте использовались рабочие нагрузки из 50 тысяч входных токенов и 2 тысяч выходных токенов для приближения рабочих процессов обработки документов или анализа кода. Мы считаем, что это лучший способ протестировать характеристики вывода, специфичные для модели, и надеемся сделать это для дополнительных моделей в будущем.

Детали модели

• Это вторая модель в семействе Nemotron 3, представляющая собой вариант модели среднего размера между Nano (всего 30 B, 3 активных) и будущей Ultra (всего ~ 500 B, активных ~ 50 B).
• Nemotron 3 Super имеет 120,6 млрд общих и 12,7 млрд активных параметров, а также контекстное окно на 1 миллион токенов и поддержку гибридных рассуждений.
• Модель имеет несколько конструктивных особенностей, обеспечивающих эффективный вывод, включая использование гибридных архитектур Mamba-Transformer и LatentMoE, прогнозирование нескольких токенов и квантованные веса NVFP4.
• NVIDIA предварительно обучила Nemotron 3 Super (в основном) точности NVFP4, но перешла на BF16 для постобучения. В наших оценочных оценках используются веса BF16.
• Открытые веса и разрешительная лицензия (аналогично Nemotron 3 Nano), включая открытые данные обучения и раскрытие методологии.

Производительность и тесты

Nemotron 3 Super набрал 36 баллов в индексе искусственного интеллекта, что на +17 баллов опережает предыдущую версию Super и +12 баллов у Nemotron 3 Nano. По сравнению с моделями аналогичной размерной категории это опережает gpt-oss-120b (33), но уступает недавно выпущенному Qwen3.5 122B A10B (42).

Мы протестировали Nemotron 3 Super в его режиме рассуждения с максимальными усилиями («обычном»), наиболее эффективном из трех режимов вывода модели (рассуждение, минимальные усилия и обычный).

Индекс интеллекта искусственного анализа

Как и в предыдущих выпусках, NVIDIA опубликовала значительные данные до и после обучения, а также новые комплексные рецепты обучения для этой модели. Эти раскрытия достигают 83-го балла по индексу открытости искусственного анализа, уступая только моделям с высокой степенью открытости от Ai2 и MBZUAI, и помещают Nemotron 3 Super в самый привлекательный квадрант по открытости и интеллекту среди аналогов.

Nemotron 3 Super — безусловно, самая интеллектуальная модель, когда-либо выпущенная с таким уровнем открытости.

Индекс открытости искусственного анализа и индекс интеллекта искусственного анализа

В наших оценках Nemotron 3 Super использовал относительно большое количество токенов. Для проведения оценок индекса искусственного интеллекта было использовано 110 миллионов выходных токенов — это примерно на 40 % больше, чем у gpt-oss-120b с большими усилиями по рассуждению, но на ~20 % меньше по сравнению с Nemotron 3 Nano.

Это значительно меньше токенов, чем у Claude Opus 4.6 (макс.) от Anthropic, в котором использовалось 160 млн токенов, и немного меньше, чем у OpenAI GPT-5.4 (xhigh), в котором использовалось 120 млн токенов.

Выходные токены, используемые для запуска искусственного анализа Intelligence Index

Nemotron 3 Super демонстрирует всестороннюю производительность и стабильно высокие результаты по всем оценкам. Это значительный шаг вперед в решении агентских задач по сравнению с его предшественником Nemotron 3 Nano

• На Terminal-Bench Hard Nemotron 3 Super набирает 29%
• По GDPval-AA, нашему ведущему эталону производительности агентов при выполнении реальных рабочих задач, он достигает ELO 1027.

Оценка индекса интеллекта

Nemotron 3 Super с общим весом 120B и 12B активными параметрами по-прежнему относительно мал по сравнению с другими недавними выпусками моделей с открытым весом от ведущих мировых лабораторий — GLM-5 (всего 744B, 40B активных), Qwen3.5 397B A17B (всего 397B, 17B активных) и Kimi K2.5 (всего 1T, 32B активных) каждая из них в 3–8 раз больше.

Интеллект против общих параметров

Эффективность модели

NVIDIA сосредоточена на эффективном интеллекте для семейства Nemotron, и мы протестировали производительность вывода на аналогичных моделях, чтобы увидеть влияние выбора архитектуры.

Мы провели автономные тесты пропускной способности для ряда одноранговых моделей, используя простую методологию с рабочими нагрузками, репрезентативными для распространенных случаев использования, таких как агентские рабочие процессы с умеренной историей, приложения RAG или обработка документов.

В нашем подходе к тестированию использовалась следующая установка

• Аппаратное обеспечение: 8x NVIDIA B200-SXM
• Обслуживание: vLLM-ночью (0.17.0)
• Рабочая нагрузка: вход 50 КБ / выход 2 КБ, в соответствии с нашим стандартизированным подходом к созданию рабочей нагрузки для сравнительного анализа поставщиков услуг вывода.
• Фиксированный размер пакета: 8 пользователей на каждый графический процессор.
• Во всех моделях мы использовали разумные базовые конфигурации для вывода без существенной оптимизации для каждой модели — мы стремимся к сопоставимым сравнениям, а не к производительности: никакого прогнозирования нескольких токенов или другого спекулятивного декодирования. Разумные стратегии параллелизма без использования обширных проверок.
• Никакого многотокенного предсказания или другого спекулятивного декодирования.
• Разумные стратегии параллелизма без использования обширных циклов
• Был протестирован ряд аналоговых моделей, ориентированных на эффективность, с весами моделей с разумной точностью, готовой к производству.
• Полные конфигурации модели подробно описаны ниже 1.

В этом тесте Nemotron 3 Super (NVFP4) показывает на 11% большую пропускную способность на каждый графический процессор NVIDIA B200, чем gpt-oss-120b (MXFP4), помещая Nemotron 3 Super «вверх и вправо» по сравнению с gpt-oss-120b. Qwen3.5 122B A10B достигает +6 баллов по индексу интеллекта по сравнению с Nemotron 3 Super, но с пропускной способностью на 40 % ниже на каждый графический процессор.

Наши показатели индекса интеллекта для Nemotron 3 Super были оценены на гирях BF16. Мы еще не оценивали, есть ли какое-либо интеллектуальное влияние квантования NVFP4, но внутреннее тестирование NVIDIA показало, что модель NVFP4 достигла средней точности 99,8% по сравнению с базовым уровнем BF16.

Интеллект против эффективности

Сравнение эффективности моделей

Поддержка провайдера

Nemotron 3 Super будет доступен с момента его выпуска на бессерверных API от таких поставщиков, как Lightning AI и DeepInfra.

Мы протестировали эти конечные точки и увидели производительность до 484 токенов в секунду при наших стандартных рабочих нагрузках по вводу 10 тысяч токенов. На момент запуска Nemotron 3 Super находится в наиболее привлекательном секторе по интеллекту и скорости вывода среди сопоставимых аналогов.

Интеллект против скорости вывода

Сноски

1. Конфигурации модели: Qwen3 Next 80B A3B Мышление: веса BF16 Параметр Значение Тензор Параллельный размер 2 Максимальная длина модели 65 536 Использование памяти графического процессора 90% KV Тип кэша auto Максимальное количество пакетных токенов 32 768 Максимальный размер захвата CUDAGraph 2 048 Кэширование префиксов отключено Асинхронное планирование включено Attention Backend FLASH_ATTN FlashInfer MoE Backend latency Компилятор Проходит Fuse_allreduce_rms , Elimination_noops Qwen3.5 122B A10B: BF16 Weights Параметр Значение Размер тензора Параллельный 2 Максимальная длина модели 65 536 Использование памяти графического процессора 90% KV Cache dtype auto Максимальное количество пакетных токенов 32 768 Максимальный размер захвата CUDAGraph 2 048 Кэширование префикса Отключено Асинхронное планирование Включено Attention Backend FLASH_ATTN FlashInfer MoE Backend latency Компилятор передает Fuse_allreduce_rms , ignore_noops Qwen3 235B A22B 2507: веса BF16 Значение параметра Тензор Параллельный размер 4 Макс. длина модели 65 536 Использование памяти графического процессора 95% KV Cache dtype fp8 Макс. пакетный Токенов 32 768 Максимальный размер захвата CUDAGraph 2 048 Кэширование префиксов отключено Асинхронное планирование включено Проходы компилятора Fuse_allreduce_rms , Elimination_noops Minimax M2.1: веса FP8 Значение параметра Размер параллельного тензора 4 Максимальная длина модели 65 536 Использование памяти графического процессора 90% KV Cache dtype fp8 Максимальное количество пакетных токенов 32 768 Максимальный размер захвата CUDAGraph 2 048 Режим CUDAGraph PIECEWISE Кэширование префикса отключено Асинхронное планирование включено Проходы компилятора fuse_allreduce_rms , ignore_noops GLM 4.5 Air: веса BF16 Значение параметра Размер параллельного тензора 2 Максимальная длина модели 65 536 Использование памяти графического процессора 95 % KV Cache dtype fp8 Максимальное количество пакетных токенов 32 768 Максимальный размер захвата CUDAGraph 2 048 Кэширование префиксов отключено Асинхронное планирование включено Проходы компилятора fuse_allreduce_rms , ignore_noops gpt-oss-120b: веса MXFP4 Значение параметра Размер параллельного тензора 2 Максимальная длина модели 65 536 Использование памяти графического процессора 90% KV Cache dtype fp8 Макс. количество пакетных токенов 8 192 Макс. размер захвата CUDAGraph 2 048 Кэширование префиксов отключено Асинхронное планирование включено Проходы компилятора fuse_allreduce_rms , ignore_noops Nemotron 3 Super: веса NVFP4 Значение параметра Размер параллельного тензора 2 Макс. длина модели 65 536 Использование памяти графического процессора 90% KV Cache dtype fp8 Макс. Пакетные токены 8 192 Макс. размер захвата CUDAGraph 2 048 Кэширование префиксов отключено Включено асинхронное планирование Проходит компилятор Fuse_allreduce_rms , ignore_noops ↩