Qwen3 Max Thinking: бенчмарки и анализ рассуждающей модели

Alibaba выпустила Qwen3-Max-Thinking со значительным улучшением интеллекта, но модель отстает от аналогов по индексу интеллекта искусственного анализа и не имеет открытых весов.

Qwen3-Max-Thinking набирает 40 баллов по индексу искусственного анализа интеллекта, что на 8 пунктов выше, чем у предварительной версии (32). Он находится на одном уровне с MiniMax-M2.1 (40), но уступает DeepSeek V3.2 (42), GLM-4.7 (42) и Kimi K2.5 (47). Qwen3-Max-Thinking — это флагманская собственная модель рассуждения Alibaba, которая работает значительно лучше, чем Qwen3 235B 2507 (Thinking, 29).

Ключевые выводы нашего независимого сравнительного анализа

➤ 🧠 Прирост интеллекта обусловлен общими рассуждениями и выполнением инструкций: скачок на 8 пунктов по сравнению с предварительным просмотром во многом обусловлен улучшением оценок общих рассуждений. Оценка HLE (Последний экзамен человечества) удваивается до 26% по сравнению с предварительной версией и опережает DeepSeek V3.2 (22%), GLM-4.7 (25%) и MiniMax-M2.1 (22%). Оценка IFBench подскочила с 54% до 71%, опережая конкурентов из китайских лабораторий искусственного интеллекта, включая Kimi K2.5 (70%) и GLM-4,7 (68%), что представляет собой заметное улучшение способности модели следовать сложным инструкциям. ➤ 🛠️ Улучшенная производительность агента: Qwen3-Max-Thinking достигает ELO 1170 на GDPval-AA по сравнению с ELO Qwen3-Max-Thinking (Preview) 958. Это опережает MiniMax-M2.1 (1074), но уступает GLM-4.7 (1192), DeepSeek V3.2 (1186), и Кими К2,5 (1316). GDPval-AA — это наш ведущий показатель общей производительности агентов, измеряющий модели выполнения реалистичных задач работы с знаниями, таких как подготовка презентаций и анализ. Модели получают доступ к оболочке и возможности просмотра веб-страниц в агентном цикле через нашу справочную агентскую программу с открытым исходным кодом под названием Stirrup.

➤ 🪙 Использование токенов соответствует аналогам: Qwen3-Max-Thinking сгенерировал 86 миллионов выходных токенов (79 миллионов рассуждений) для завершения индекса интеллекта по сравнению с 30 миллионами выходных токенов в предварительной версии. Это ставит его на один уровень с Кими К2,5 (89 м), но значительно ниже GLM-4,7 (167 м).

➤ 📉 Всеведение АА уступает моделям аналогов: Qwen3-Max-Thinking получает -34 балла в Индексе всеведения АА, нашей оценке знаний, измеряющей как точность, так и частоту галлюцинаций. Это уступает Кими К2.5 (-11), DeepSeek V3.2 (-23) и MiniMax-M2.1 (-30).

Основная информация о модели

➤ 🔒 Собственность: Как и предварительная версия, Qwen3-Max-Thinking является собственностью, поскольку Alibaba не опубликовала веса. ➤ ⚙️ Контекстное окно: модель поддерживает контекстное окно на 256 тыс. токенов. ➤ 📷 Нет мультимодальности: только текст, без мультимодальных входов и выходов. ➤ 💲 Цены: цена модели составляет 1,2/6 долларов США за 1 миллион токенов ввода/вывода для максимум 32 000 токенов ввода с масштабированием до 2,4/12 долларов США для 32 000–128 000 и 3 долларов США/15 долларов США для 128 000–256 000. ➤ 🌐 Доступность: Qwen3-Max-Thinking в настоящее время доступен в Qwen Chat и через собственный API в облаке Alibaba.

Индекс интеллекта

Qwen3-Max-Thinking повышает производительность агента по сравнению с Qwen3-Max-Thinking (предварительная версия) и опережает MiniMax-M2.1, но уступает другим аналогам.

Производительность GDPval-AA

Qwen3-Max-Thinking использовал ~86 миллионов токенов вывода для запуска индекса искусственного анализа интеллекта, что на ~56 миллионов токенов больше, чем Qwen3-Max-Thinking (предварительная версия)

Интеллект против использования токенов

Разбивка полного пакета оценки

Все оценки