Muse Spark 1.2: бенчмарки и сравнительный анализ

Muse Spark 1.2 от Meta набирает 54 балла в индексе искусственного анализа интеллекта. Это третий выпуск Meta за четыре месяца, который значительно улучшает возможности работы с агентскими знаниями по сравнению с предыдущими выпусками и ставит Meta рядом с SpaceXAI на третье место среди лабораторий США.

Muse Spark 1.2 (xhigh) имеет рейтинг 54, что на 3 очка выше, чем у Muse Spark 1.1 (51) и на 11 очков по сравнению с Muse Spark 1.0 (43, апрель). Он эффективно вступает в игру с GPT-5.5 (xhigh, 55) и Grok 4.5 (high, 54), немного отставая от текущих передовых моделей Claude Opus 5 (макс., 61), Claude Fable 5 (макс. с резервным режимом, 60), GPT-5.6 Sol (макс., 59) и Kimi K3 (макс., 57). Общий доступ к мета с нами перед публичным выпуском для сравнительного анализа.

Ключевые выводы

➤ Muse Spark 1.2 приближается к передовому рубежу в области агентной работы с знаниями: при запуске Muse Spark 1.1 мы отметили агентную работу с знаниями как ее самый очевидный пробел; Достижения Muse Spark 1.2 помогают решить эту проблему. Его GDPval-AA v2 Elo поднялся на 260 пунктов до 1631, заняв пятое место среди всех протестированных нами моделей и опередив Claude Opus 4.8 (макс. 1588). GDPval-AA v2 — это наш ведущий показатель общей производительности агентов, измеряющий модели для реалистичных задач работы с знаниями, таких как подготовка презентаций и анализ, с возможностью доступа к оболочке и просмотра веб-страниц в агентном цикле через наш эталонный пакет Stirrup. Терминал-Bench v2.1, измеряющий агентное кодирование и использование терминалов, получил 2 балла (с 78% до 80%), а τ³-Banking, измеряющий использование агентских инструментов, вырос на 2 балла (с 25% до 27%).

➤ Среди наиболее экономически эффективных моделей на своем уровне интеллекта: Muse Spark 1.2 стоит 0,40 доллара США за задачу индекса интеллекта при неизменной цене Meta в 1,25 доллара США/4,25 доллара США за 1 миллион токенов, при этом только Grok 4.5 (высокий, 0,37 доллара США) и GPT-5.6 Sol (средний, 0,39 доллара США) дешевле в своем интеллектуальном кластере - GPT-5.6 Terra (максимум, 0,51 доллара США), Kimi K3 (максимум, 0,86 доллара США) и GPT-5,5 (xhigh, 1,18 доллара США) стоят дороже за задачу. Увеличение стоимости по сравнению с Muse Spark 1.1 (0,29 доллара США за задачу) обусловлено увеличением использования токенов для каждой задачи индекса интеллекта: входные токены выросли примерно на 53%, а выходные токены — примерно на 36%, что сконцентрировано в GDPval-AA v2.

➤ Уровень воздержания от всеведения АА увеличивается: балл увеличился с 18 до 22, поскольку уровень галлюцинаций снизился на 10 пунктов (с 38% до 28%), а уровень попыток снизился с 82% до 67%. Всеведение АА измеряет надежность знаний и галлюцинации: оно вознаграждает за правильные ответы, наказывает за галлюцинации и не применяет штрафов за отказ от ответа. Частое воздержание в Muse Spark 1.2 (не отвечать на вопросы, если вы не уверены) теперь приводит как к низкому уровню галлюцинаций, так и к снижению точности (от 41% до 38%).

➤ Результаты научного мышления практически не изменились: CritPt, который проверяет физические рассуждения на исследовательском уровне, заметно набрал 3 балла (с 15% до 18%), в то время как SciCode упал на 2 балла (с 58% до 56%), а «Последний экзамен человечества» упал на 1 балл (с 45% до 44%).

➤ Подробности модели: Muse Spark 1.2 сохраняет контекстное окно и цену 1 млн токенов Muse Spark 1.1 (1,25 долл. США/4,25 долл. США за 1 млн токенов ввода/вывода, со скидкой на обращения к кешу до 0,15 долл. США за 1 млн) и доступна через собственный API Meta при запуске.

Агентские и разведывательные оценки

Прирост в 3 балла по сравнению с Muse Spark 1.1 в индексе искусственного анализа интеллекта сконцентрирован в агентских оценках: GDPval-AA v2 +260 Elo (с 1371 до 1631), Terminal-Bench v2.1 +2 балла (78% до 80%) и τ³-Banking +2 балла (с 25% до 27%). Незначительные регрессии — это SciCode (-2 балла) и «Последний экзамен человечества» (-1 балл).

Muse Spark 1.2 занимает 5-е место в GDPval-AA v2 с 1631 Elo, уступая Claude Opus 5 (макс., 1852), GPT-5.6 Sol (макс., 1730) и Kimi K3 (макс., 1685) и опережая Claude Opus 4.8 (макс., 1588). Muse Spark 1.1 набрал 1371 балл при запуске в прошлом месяце.

Индекс интеллекта против стоимости за задачу индекса интеллекта

Muse Spark 1.2 находится недалеко от границы Парето между интеллектом и стоимостью за задачу индекса интеллекта, по цене 0,40 доллара за задачу.

Индекс всеведения АА

Muse Spark 1.2 продолжает традицию AA-Всеведения Meta: оценка выросла с 18 до 22 благодаря воздержанию во втором выпуске подряд. Частота галлюцинаций упала на 10 пунктов (с 38% до 28%), а частота попыток упала до 67%, а точность снизилась с 41% до 38%.

Оценки разведки

Полная разбивка отдельных оценок в Индексе искусственного анализа интеллекта