Muse Spark 1.1: Meta набрала 8 баллов интеллекта за три месяца
Динамика развития открытых моделей Meta: ключевые улучшения архитектуры и результаты независимых замеров.
Muse Spark 1.1 от Meta набирает 51 балл в индексе искусственного анализа интеллекта и является экономичным и экономичным по сравнению со своими аналогами.
Мы поддержали Meta предварительную оценку Muse Spark 1.1 (xhigh), которая за три месяца набрала 8 баллов по сравнению с Muse Spark 1.0 (43). Он фактически равен GLM-5.2 (макс.), GPT-5.4 (xhigh) и GPT-5.6 Luna (макс.) с 51, отставая на три очка от Grok 4.5 (макс., 54), с передовым преимуществом у Claude Fable 5 (60), GPT-5.6 Sol (макс., 59) и Claude Opus 4.8 (макс., 56).
Выигрыши концентрируются в научных рассуждениях, кодировании и знаниях. Работа агентских знаний существенно улучшилась, но продолжает отставать от GDPval-AA v2.
Ключевые выводы
➤ Muse Spark 1.1 существенно превосходит первую версию Muse Spark. Это было обусловлено, в частности, успехами в области агентской работы с знаниями (GDPval-AA v2) и кодирования (SciCode, TerminalBench). На последнем экзамене человечества он достигает 45%, что находится в пределах балла от Claude Opus 4,8 (максимум, 46%) и опережает GPT-5,5 (44%) и Grok 4,5 (высокий, 40%).
➤ Самая эффективная из моделей фактически равна 51 и входит в число самых дешевых моделей в эксплуатации. Muse Spark 1.1 использовало 94 миллиона токенов вывода для запуска индекса интеллекта, что меньше, чем GPT-5.4 (xhigh, 109 миллионов), GPT-5.6 Luna (максимум, 125 миллионов) и GLM-5.2 (максимум, 141 миллиона). Мы оцениваем ~ 0,26 доллара США за задачу индекса интеллекта при цене Meta в 1,25 доллара США/4,25 доллара США - ниже GLM-5,2 (0,37 доллара США) и примерно в 3 раза ниже GPT-5,4 (0,89 доллара США).
➤ Прирост всеведения АА обусловлен скорее воздержанием, чем точностью. Оценка увеличилась более чем в четыре раза с 4 до 18, поскольку уровень галлюцинаций упал на 35 баллов (с 73% до 38%), при этом частота попыток снизилась с 95% до 82%, а точность практически не изменилась (с 45% до 41%).
Другие детали модели
➤ Контекстное окно: 1 млн токенов по сравнению с 262 тыс. в Muse Spark 1.0.
➤ Цена: 1,25/4,25 доллара США за 1 миллион токенов ввода/вывода; попадания в кеш снижены до 0,15 доллара США за 1 миллион долларов США.
➤ Скорость вывода: медиана ~114 токенов/с на собственном API Meta, время до первого токена ответа ~21 с.
➤ Доступность: собственный API Meta при запуске.
Прирост индекса интеллекта на 8 баллов по сравнению с Muse Spark 1.0 сосредоточен в области научного мышления, кодирования и знаний: Индекс кодирования +12 баллов (с 59 до 71), SciCode +6 баллов (с 52% до 58%), Последний экзамен человечества +5 баллов (с 40% до 45%), AA-Всеведение +14 баллов (с 4 до 18) и GDPval-AA v2 +232 Эло. (1144–1376).
SciCode выделяется: Muse Spark 1.1 занимает третье место среди всех протестированных нами моделей с 58%, уступая только Claude Fable 5 (60%) и Gemini 3.1 Pro Preview (59%). Его 45% на Последнем экзамене человечества находятся в пределах 4,8 балла от Клода Опуса (максимум 46%), что на пять пунктов опережает его по Индексу интеллекта.
Muse Spark 1.1 относительно эффективно использует токены: для запуска индекса интеллекта используется 94 млн токенов. Этот показатель ниже, чем у других моделей, с которыми он примерно связан по индексу интеллекта 51: GPT-5.4 (xhigh) с использованием 109M, GPT-5.6 Luna (макс.) с использованием 125M и GLM-5.2 (max) с использованием 141M.
Однако он использовал больше токенов, чем несколько моделей с более высоким рейтингом, таких как Claude Fable 5 и Grok 4.5 (высокий). Когда этот умеренный уровень эффективности токена сочетается с низкими затратами на токен Meta, мы оцениваем показатель стоимости за расчетный индекс интеллекта примерно в 0,26 доллара США, уступая только GPT-5,6 Luna (0,21 доллара США) среди моделей с его интеллектом или выше.
Muse Spark 1.1 демонстрирует противоположный паттерн АА-всеведения по сравнению с Grok 4.5. Если у Grok 4.5 выигрыш был обусловлен более высокой точностью наряду с более высоким уровнем галлюцинаций, то у Muse Spark 1.1 рост с 4 до 18 связан с воздержанием: уровень галлюцинаций упал с 35 пунктов до 38%, в то время как точность осталась примерно на том же уровне.
Полная разбивка оценок индекса интеллекта
