Upstage Solar Pro 4: результаты бенчмарков и подробный анализ
Флагман от южнокорейской команды Upstage: замеры скорости инференса, работы с контекстом и логических рассуждений.
Solar Pro 4 — это новая флагманская модель рассуждения Upstage AI, пришедшая на смену Solar Pro 3 с апреля 2026 года. На 42-м месте в индексе интеллекта она находится рядом с Inkling (xhigh, 42) и сразу за MiMo-V2.5-Pro (43) и показывает рост на 27 пунктов по сравнению с Solar Pro 3. Цены увеличиваются до 0,30/1,20/0,06 доллара США за 1 Мбайт ввода/вывода/кэша. получить токены от Solar Pro 3 по цене 0,15/0,60/0,02 доллара США через собственный API Upstage.
Ключевые результаты:
➤ Самые большие улучшения Solar Pro 4 по сравнению с Solar Pro 3 касаются агентной и долгосрочной контекстной работы. Terminal-Bench v2.1 улучшается с 12% до 57%, AA-LCR с 31% до 71% и τ³-Banking с 9% до 23%. GDPval-AA v2 демонстрирует значительный прогресс в решении реальных агентских задач: Solar Pro 3 набрал Elo 498, что значительно ниже базового уровня человека в 1000, Solar Pro 4 — 1277.
➤ Улучшение Всеведения АА с -53 до -1 произошло за счет воздержания от большего количества вопросов. Solar Pro 4 отвечает только на 41% вопросов против 92% у Solar Pro 3, а уровень галлюцинаций у него составляет 24%, что выше, чем у Command A+ (14%) и MiniMax-M3 (18%), и значительно лучше, чем у Solar Pro 3 с 88%. Точность AA-Всеведения остается неизменной на уровне 19%.
➤ Solar Pro 4 более эффективен, чем Solar Pro 3, хотя по-прежнему многословен для своего уровня интеллекта. Он использует 43 тыс. токенов вывода для каждой задачи индекса интеллекта, что примерно на 17% меньше, чем 52 тыс. токенов Solar Pro 3.
➤ Прирост интеллекта сопровождается ударом по задержке. Solar Pro 4 требует 8,6 минут для выполнения средней задачи индекса интеллекта по сравнению с 6,0 минутами для Solar Pro 3, несмотря на использование меньшего количества токенов вывода на задачу.
➤ Цена составляет 0,30/1,20 доллара США за 1 миллион токенов ввода/вывода. Это соответствует цене MiniMax для MiniMax-M3, которая набрала на 3 балла выше (45) и дороже, чем DeepSeek V4 Flash 0731 (Reasoning, Max Effort) (0,14 доллара США/0,28 доллара США и 52 балла по индексу интеллекта). Попадания в кэш оцениваются в 0,06 доллара США за 1 миллион, что составляет 80 % скидку на цену входного токена.
Дополнительные сведения о модели:
➤ Контекстное окно: 384 тыс. токенов
➤ Максимальное количество токенов вывода: 256 КБ.
➤ Модальности: только ввод и вывод текста.
➤ Цена: 0,30 доллара США / 1,20 доллара США / 0,06 доллара США за 1 миллион токенов ввода/вывода/кэша.
➤ Поставщики вывода на момент запуска: собственный API Upstage, OpenRouter.
Самое сильное улучшение Solar Pro 4 касается реальной агентской работы. Он набирает Elo 1277 на GDPval-AA v2 по сравнению с 498 у Solar Pro 3. Solar Pro 4 находится выше базового уровня человеческого Elo в 1000, немного опережая Qwen3.7 Max (1272) и MiMo-V2.5-Pro (1266).
Показатель всезнания AA Solar Pro 4 повышается с -53 до -1, однако улучшение происходит за счет воздержания, а не знаний. Он ответил только на 41% вопросов по сравнению с 92% в Solar Pro 3, и хотя уровень галлюцинаций увеличился с 88% до 24%, его точность всеведения АА практически не изменилась и составила 19%.
Solar Pro 4 использует 43 тыс. токенов вывода для каждой задачи индекса искусственного анализа, что примерно на 17% меньше, чем 52 тыс. токенов Solar Pro 3. Тем не менее, он по-прежнему многословен по сравнению с другими моделями своего уровня интеллекта.
Solar Pro 4 требует 8,6 минут на задачу индекса искусственного анализа интеллекта по сравнению с 6,0 минутами для Solar Pro 3, несмотря на использование меньшего количества токенов вывода на задачу.
Полные результаты по индексу искусственного анализа интеллекта
