Релиз NVIDIA Nemotron 3 Ultra: быстрый, умный и открытый ИИ

NVIDIA только что выпустила Nemotron 3 Ultra, новую самую интеллектуальную модель открытых весов в США, обладающую лидирующей скоростью для своего интеллекта.

Nemotron 3 Ultra получил оценку 47,7 по индексу интеллекта искусственного анализа, что значительно опережает следующие сильнейшие модели открытых весов США, Gemma 4 31B (39,2), Nemotron 3 Super (36,0) и gpt-oss-120b (33,3), но отстает от лидера открытых весов под руководством Китая (Kimi K2,6 с 53,9).

Мы сотрудничали с NVIDIA, чтобы оценить интеллектуальность и скорость этой модели перед ее публичным выпуском. В этих цифрах использованы окончательные веса NVFP4, которые NVIDIA рекомендует для вывода, но наши тесты показывают минимальное влияние на интеллект по сравнению с тестированием BF16, с более высокой точностью, что приводит к показателю индекса искусственного анализа интеллекта 48,2 по сравнению с показателем NVFP4, равным 47,7.

Ключевые выводы

➤ Nemotron 3 Ultra лидирует по скорости благодаря своему интеллекту: благодаря BlackBox AI перед выпуском Nemotron 3 Ultra обслуживается со скоростью более 400 выходных токенов в секунду — это немного быстрее, чем типичная скорость обслуживания gpt-oss-120b, несмотря на то, что он> в 4 раза больше, и обладает значительно более высоким интеллектом.

➤ Самая большая модель Nemotron 3 на данный момент: Nemotron 3 Ultra имеет примерно 550 миллиардов общих параметров и 55 миллиардов активных. Он значительно больше своих собратьев и является самой крупной и самой интеллектуальной моделью с открытым весом в США, когда-либо выпущенной.

➤ Nemotron 3 Ultra на сегодняшний день является ведущей моделью открытых весов в США по показателям искусственного интеллекта и агентских индексов, но Gemma 4 31B имеет рейтинг примерно на 1 балл выше по индексу кодирования (состоящему из Terminal-Bench Hard и SciCode).

Nemotron 3 Ultra эффективно справляется с агентскими задачами с низкой задержкой. Мы протестировали его на аналогах с ограниченными ограничениями на использование оборотов на Terminal-Bench v2.1 — Nemotron 3 Ultra выполняет задачи гораздо быстрее, чем коллеги, благодаря своей высокой скорости вывода и конкурентоспособным результатам в тесте.

Методика анализа производительности и задержки задач в Terminal-Bench v2.1

Зачем поворачивать бюджеты. Более быстрый вывод полезен для получения лучших результатов за меньшее время, но в равной степени возможно снизить задержку для каждой задачи за счет сокращения усилий модели для выполнения агентских задач. Сегодня существует целый ряд подходов к этому, включая параметры «усилий» модели, ограничения токенов на уровне запроса или задачи или ограничения на ходы. В этом анализе мы ограничиваем количество ходов, которое агент может потратить на каждую задачу, и наблюдаем, как меняется производительность и время на настенных часах по мере увеличения ограничения.

Мы четко сообщаем модели ее бюджет. Тихое усечение агента на N ходах наказывает модели, которые не знали о наступлении ограничения, исходя из их естественного предпочтения использования ходов. Чтобы избежать этой предвзятости, мы настроили систему Terminus 2 так, чтобы при каждом запуске заранее указывался бюджет хода (с точным определением того, что считается «поворотом») и предупреждалось модель, когда он приближается к пределу. Это отражает подсказку об изменении поворота, которую мы используем для GDPval-AA.

Развертка. Каждая модель запускает Terminal-Bench v2.1 при четырех бюджетах — 10, 20, 50 и 100 ходов — и мы прослеживаем результирующую кривую зависимости результата от времени.

Как читать график. Каждая модель рисуется в виде одной линии, соединяющей ее четыре бюджета ходов (10 → 100), поэтому весь компромисс между производительностью и задержкой виден с первого взгляда. Вертикальная ось — производительность, представленная как доля полностью решенных задач (проходящих тесты задачи). Горизонтальная ось представляет собой приблизительную стоимость каждой задачи по настенным часам: подсчитанные выходные токены, деленные на скорость вывода модели, плюс время, фактически затраченное на выполнение инструментов в песочнице. Выходная скорость — это реальная скорость каждой модели — та же основная или медианная цифра, показанная в искусственном анализе. Для Nemotron 3 Ultra мы измеряли скорость в предварительной версии BlackBox AI. Увеличение количества поворотов модели обычно делает ее более производительной, но более медленной, поэтому форма и положение каждой кривой — это история: линия, охватывающая левый верхний угол, обеспечивает большую «производительность за раз».

Nemotron 3 Ultra является самым быстрым во всех пределах поворота и в этой оценке находится на границе Парето по соотношению производительности и времени на задачу.

Nemotron 3 Ultra оптимизирован по скорости вывода, как и его меньшие братья и сестры. Он находится на границе Парето по скорости и интеллекту: скорость превышает 400 токенов в секунду, измеренная при использовании BlackBox AI перед выпуском.

Nemotron 3 Ultra использует примерно на 1 млн токенов вывода меньше, чем NVIDIA Nemotron 3 Super, для запуска индекса искусственного анализа интеллекта, а также увеличения его размера и интеллекта. Это ставит Nemotron в центральное место среди аналогов по своей многословности.

Nemotron 3 Ultra получил хорошие оценки по шкале AA-Всеведение без галлюцинаций - 71%, что отражает низкую склонность отвечать на фактические вопросы, когда он не знает ответа. Он также значительно улучшает GDPval-AA по сравнению с Nemotron 3 Super с Elo 1378, что примерно соответствует DeepSeek V4 Flash. Однако производительность на CritPt — эталоне для задач по исследованию физики на уровне выпускников — относительно ниже, достигая тех же 3%, что и Nemotron 3 Super. Полная разбивка оценочного пакета ниже