NVIDIA выпустила Nemotron 3.5 Super VL и Nemotron 3.5 Bolt 74B A9B

Nemotron 3.5 Super VL от Nvidia в настоящее время является ведущей моделью открытого веса в США, получив 26-е место в индексе искусственного интеллекта.

Nemotron 3.5 Super VL обеспечивает вдвое больший интеллект, чем его предшественник Nemotron 3 Super (13), и делает это, используя примерно на 60% меньше выходных токенов на задачу.

Он выпускается вместе с Nemotron 3.5 Bolt 74B-A9B, первой моделью в новом семействе Bolt, которая получила 21 балл в индексе интеллекта.

Ключевые выводы

➤ Ведущая модель США в открытом весе: Nemotron 3.5 Super VL набрал 26,5 баллов, опередив Inkling Small от Thinking Machines (25,7) и опередив Nemotron 3 Ultra от NVIDIA (23) и Muse Glimmer от Meta (17).

➤ Bolt отстает от Ultra на 2 балла: Nemotron 3.5 Bolt 74B-A9B набирает 21 балл, отставая на 1,5 балла от Nemotron 3 Ultra 550B A55B (23). Он имеет примерно седьмую часть общих параметров Ultra (74B против 550B) и шестую часть активных параметров (9B против 55B).

➤ Super 3.5 почти без потерь в NVFP4: Nemotron 3.5 Super VL выпущен в NVFP4, его вес в индексе интеллекта находится в пределах 0,1 балла от веса BF16, при этом ни один компонент не перемещается более чем на 2,6 балла.

Подробности о Немотроне 3.5 Супер ВЛ

• Контекстное окно: 1M токенов
• Модальности: видение и ввод текста; текстовый вывод
• Параметры: 120В/12В

Nemotron 3.5 Болт 74B-A9B детали

• Контекстное окно: 256 тыс. токенов
• Модальности: видение и ввод текста; текстовый вывод
• Параметры: 74В/9В

Nemotron 3.5 Super – лидер открытого веса США

Nemotron 3.5 Super VL — модель с открытыми весами из США, получившая 26 место в рейтинге интеллекта. Он опережает Inkling Small от Thinking Machines (26) и опережает предыдущего флагмана NVIDIA Nemotron 3 Ultra (23) и Muse Glimmer от Meta (17).

Несмотря на прогресс, США по-прежнему отстают от Объединенных Арабских Эмиратов (K2 Horizon 375B A23B, 31) и Китая (MiMo-V2.6-Pro, 46) по разведке открытых весов.

Nemotron 3.5 Super – Использование токена

Nemotron 3.5 Super VL использует 46 тыс. выходных токенов для каждой задачи индекса интеллекта, что примерно на 60% меньше, чем у его предшественника Nemotron 3 Super (114 тыс.) и меньше, чем у K2 Horizon 375B A23B (52 тыс.) и MiMo-V2.6-Pro (64 тыс.)

Несмотря на явное увеличение эффективности токенов, Nemotron 3.5 Super по-прежнему сильно отстает от границы индекса интеллекта и количества токенов вывода на задачу.

Nemotron 3.5 Super - Выходная скорость

При измерениях на предварительной версии конечной точки @DeepInfra, обслуживающей веса NVFP4, Nemotron 3.5 Super VL достигает скорости вывода ~630 токенов/с с запросами на 100 тыс. токенов. Это самая быстрая из всех моделей, набравших 20 или более баллов по индексу интеллекта, который мы измеряли при такой длине подсказки.

Это ~5x Inkling Small (124 токена/с), ~2,7x Nemotron 3 Ultra (235) и ~4,5x Nemotron 3 Super (140). Он также возвращает свой первый токен за 1,8 секунды против 4,4 секунды у Nemotron 3 Ultra и 8,5 секунды у Inkling Small.

Немотрон 3,5 Болт

Nemotron 3.5 Bolt 74B-A9B — первая модель в новом семействе NVIDIA Bolt. Он набрал 21,4 балла по индексу интеллекта, заняв 4-е место среди моделей с параметрами ниже 100B и первое место среди моделей США в этом классе.

Bolt набирает на 8,6 балла больше Nemotron 3 Super (12,8) при меньших общих параметрах на 39%. Против Nemotron 3 Ultra он лидирует по AutomationBench-AA (15,5% против 3,0%) и AA-Briefcase (912 против 874 Elo), но уступает по AA-LCR (70% против 79%) и Humanity's Last Exam (25% против 28%)

Nemotron 3.5 Bolt — использование жетона

Nemotron 3.5 Bolt 74B-A9B использует 82 тыс. токенов вывода на задачу индекса интеллекта, 1,8x Nemotron 3.5 Super VL (46 тыс.) и 2,9x Nemotron 3 Ultra (28 тыс.), но все же на 28% меньше, чем Nemotron 3 Super (114 тыс.)