Qwen3.5-397B-A17B: архитектура MoE и результаты испытаний

Новый Qwen3.5-397B-A17B от Alibaba занимает третье место по открытым весам в индексе искусственного интеллекта и является значительным обновлением модели Qwen3-235B-A22B-2507.

Qwen3.5-397B-A17B — первая модель, выпущенная Alibaba в рамках нового семейства Qwen3.5. Он набирает 45 баллов по индексу интеллекта искусственного анализа, занимая 3-е место среди моделей с открытыми весами после GLM-5 (Рассуждение, 50) и Кими K2,5 (Рассуждение, 47). Он имеет общие/активные параметры 397B/17B, что значительно ниже, чем у аналогичных моделей, таких как Kimi K2.5 (1T/32B), GLM-5 (744B/40B) и DeepSeek V3.2 (671B/37B).

Qwen3.5 397B также является первой моделью Qwen с открытыми весами и встроенным визуальным вводом, поддерживающим изображения и видео. Ранее Alibaba поддерживала отдельные линейки моделей для машинного зрения (Qwen3-VL) и только текстовых (Qwen3). Qwen3.5 397B объединяет их в одну модель, следуя более широкой отраслевой тенденции к созданию мультимодальных моделей фундаментов.

Кроме того, Qwen3.5 397B поддерживает как режимы рассуждения, так и режимы без рассуждения в рамках одной модели, что является противоположностью по сравнению с семейством моделей Qwen3, где Alibaba выпустила отдельные варианты инструкций и мышления.

Ключевые выводы нашего независимого сравнительного анализа

➤ 🧠 Прирост интеллекта за счет улучшения производительности агентов: Qwen3.5 397B набирает 45 баллов в нашем Индексе интеллекта, что на +16 баллов выше предыдущего открытого веса Qwen3 235B (Рассуждение, 29). Qwen3.5 397B достигает ELO GDPval-AA 1221, что является значительным увеличением на 361 балл по сравнению с Qwen3 235B (860). GDPval-AA — это передовая агентская система оценки, которая сравнивает результаты модели при выполнении реалистичных задач информационной работы, таких как подготовка презентаций, анализ и т. д. Qwen3.5 397B также превосходит Qwen3 235B по агентскому кодированию (+27 п.п. на TerminalBench Hard), научному рассуждению (+12 п.п. по HLE) и следованию инструкциям (+28 п.п. по IFBench).

➤ 📉 Галлюцинация остается выше, чем у аналогов: индекс AA-всеведения Qwen3.5 397B составляет -32, что на 16 пунктов лучше, чем у Qwen3 235B (-48), что обусловлено, главным образом, более высокой точностью (30% против 22%), а не снижением уровня галлюцинаций (88% против 90%). Модель по-прежнему имеет высокий уровень галлюцинаций по сравнению с ведущими моделями с открытыми весами. Мы измеряем частоту галлюцинаций по тому, как часто модель отвечает на вопрос, хотя ей следовало бы отказаться или признать, что она не знает ответа. Кими K2.5 и GLM-5 достигают индекса всеведения AA -11 и -1 соответственно.

➤ 🪙 Немного более эффективен по сравнению с аналогами: Qwen3.5 397B использовал ~86 миллионов токенов вывода (включая ~80 миллионов токенов рассуждения) для запуска индекса интеллекта, больше, чем Qwen3 235B (63 миллиона), но меньше, чем Kimi K2.5 (89 миллионов) и GLM-5 (110 миллионов).

Ключевые детали модели

• 📏 Контекстное окно: 262 тыс. токенов
• ⚙️ Размер: всего 397Б / 17Б активных параметров (МО). Меньше активных параметров, чем у Qwen3 235B (активный 22B), GLM-4.7 (активный 32B) и Kimi K2.5 (активный 32B).
• ©️ Лицензия: Apache 2.0.
• 🌐 Доступность: Qwen3.5 397B доступен в Qwen Chat и через собственный API Alibaba. Alibaba также предлагает Qwen3.5-Plus, размещенный вариант с контекстным окном размером 1 МБ и встроенными инструментами. На момент публикации сторонние поставщики API отсутствуют. Веса доступны на HuggingFace.

Индекс интеллекта

При 17B активных параметров Qwen3.5 397B находится на границе диаграммы «Интеллект против активных параметров».

Интеллект против активных параметров

Основываясь на цене за токен Alibaba Cloud (0,60 доллара США/3,60 доллара США за 1 миллион входов/выходов) и количестве токенов, используемых для запуска индекса интеллекта, Qwen3.5 397B близок к границе Парето между интеллектом и стоимостью запуска диаграммы индекса интеллекта.

Интеллект против стоимости

Qwen3.5 397B работает значительно лучше, чем Qwen3 235B на GDPval-AA, тесте, который измеряет производительность модели при выполнении реальных агентских задач.

ВВПвал-АА

Qwen3.5 397B улучшает индекс всеведения AA по сравнению с Qwen3 235B с более высокой точностью, но ограниченным улучшением частоты галлюцинаций.

Всезнание