Анонс Индекса интеллекта AI Стата v4.3: новые стандарты оценки

Мы обновляем Terminal-Bench до версии 4.0 и добавляем AutomationBench-AA, агентный тест автоматизации рабочих процессов с частным набором тестов. Это продолжение нашего внедрения Intelligence Index v5.

Результаты

Индекс интеллекта искусственного анализа

Индекс интеллекта искусственного анализа v4.3.2 включает в себя: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1. Более подробную информацию, включая разбивку каждой оценки и то, как мы ее проводим, см. в методологии индекса интеллекта.

• Claude Fable 5.1 и GPT-6 Astra лидируют по индексу интеллекта: и Claude Fable 5.1 (максимум с резервным вариантом), и GPT-6 Astra (максимум) набирают 53 балла по индексу интеллекта v4.3, за ними следуют Claude Opus 5 (максимум, 51), Claude Fable 5 (с резервным вариантом, 50), Muse Spark 1.3 (максимум, 48) и GPT-5.6 Sol (максимум, 47).
• GLM-5.3 и Kimi K3 продолжают лидировать среди моделей с открытым весом: GLM-5.3 Flash (42) является третьей по силе моделью с открытым весом, за ним следуют Qwen3.8 2.4T A95B (40) и DeepSeek V4 Pro 0813 (макс. 36).
• 4 лаборатории занимают границу Парето по интеллекту и цене за задачу: OpenAI занимает большую часть границы экономической эффективности, при этом все пять аналитических усилий недавно выпущенного GPT-6 Astra предлагают самую низкую стоимость за задачу на соответствующих уровнях интеллекта. MiMo-V2.5-Pro ​​(26), GLM-5.3-Flash (42) и Claude Fable 5.1 (xhigh, max, 53) завершают остальную часть списка.

Журнал изменений

Модернизированный

Терминал-Скамья: с 2,1 до 4,0

Заменено

𝜏³-Банковские операции с помощью AutomationBench-AA

Мы продолжаем уделять приоритетное внимание сохранению максимальной полезности Intelligence Index, внося часть изменений, которые мы запланировали для Index v5. Каждое изменение в версиях 4.2 и 4.3 имеет свои преимущества и приближает индекс к решению реальных проблем, добавляет больше частных наборов тестов для предотвращения игр и снижает насыщенность.

Intelligence Index v4.3 повышает сложность задач агентного кодирования и расширяет типы тестируемых агентных рабочих процессов. Поскольку мы используем расширенный набор тестов для AutomationBench в сотрудничестве с Zapier, вес, присвоенный оценкам с частными задачами или ответами, увеличивается с 40% до 45%. Веса категорий не изменились по сравнению с версией 4.2: Агенты 30%, Кодирование 20%, Общее 30%, Научное мышление 20%.

Обновления оценки

Терминал-Скамейка 4.0

Мы обновляем Terminal-Bench 2.1 до версии 4.0, которая позволяет выполнять более сложные задачи с помощью терминала. Terminal-Bench 4.0 проверяет, может ли агент выполнять сложную работу через терминал, включая программное обеспечение, машинное обучение, науку, операции, безопасность, оборудование и мультимедиа. Обновление перекалибровывает ресурсы вычислений и времени, а также улучшает инструкции по выполнению задач, среду и проверку. Мы запускаем все 66 задач три раза и сообщаем о среднем проходе @1.

GPT-6 Astra (макс.) набирает 59,1% по сравнению с 52,0% для Claude Fable 5.1 (макс. с резервным вариантом) и 49,0% для Claude Opus 5 (макс.). Astra на 19,2 процентных пункта опережает GPT-5,6 Sol (max), который набирает 39,9%.

Терминал-Скамейка 4.0: Оценка

АвтоматизацияБенч-АА

Мы заменяем 𝜏³-Banking на AutomationBench-AA, обеспечивающий более широкие бизнес-процессы в различных приложениях.

В сотрудничестве с Zapier мы запускаем тестовый набор из 657 задач, используя версию теста v1.0.6. Мы называем нашу реализацию AutomationBench-AA, потому что мы начисляем частичные баллы за выполненные задачи, при этом любое нарушение ограждения снижает оценку задачи до нуля.

Его 657 задач охватывают финансы, HR, маркетинг, операции, продажи и поддержку. Агенты работают с смоделированными бизнес-приложениями и находят соответствующие API для выполнения каждой задачи. Для каждой задачи мы измеряем долю выполненных целей. Любое нарушение ограждения дает этой задаче нулевую оценку. «Оценка» усредняет оценки этих задач по всем 657 рабочим процессам и является показателем, используемым в индексе интеллекта. В разделе «Выполненные задачи» отдельно указывается доля рабочих процессов, в которых каждая цель выполнена без нарушения ограждения.

GPT-6 Astra (макс.) набирает 68,5% по сравнению с 66,7% для Grok 4,6 (высокий) и 62,2% для GLM-5,3 (макс.). Astra (макс.) выполняет все задачи без нарушений в 41,6% рабочих процессов по сравнению с 32,1% для Claude Fable 5.1 (макс. с резервным вариантом) и 28,3% для Claude Opus 5 (макс.). Выполнить каждую задачу, соблюдая все ограничения, по-прежнему сложнее, чем завершить часть рабочего процесса.

AutomationBench-AA: Оценка

AutomationBench-AA сообщает о двух показателях. Оценка — это доля задач, выполненных моделью, где любая задача с нарушением ограждения получает нулевую оценку. Выполнено — доля задач, выполненных полностью, с достижением всех целей и без нарушений ограждения. Чем выше, тем лучше для обоих.

Расходы

Подобные показатели Индекса интеллекта могут достигаться по разной цене. GPT-6 Astra (максимум) и Claude Fable 5.1 (максимум с резервным вариантом) набирают 53 балла, но их средняя стоимость за задачу индекса интеллекта составляет 3,26 и 7,63 доллара соответственно — на 57% ниже для Astra.

GLM-5.3-Flash и GPT-5.6 Terra (макс.) набирают 42 балла по индексу интеллекта, но GLM-5.3-Flash стоит всего на 18% дороже за задачу (0,25 доллара против 1,40 доллара). При более низкой цене GPT-5.6 Luna (макс.) набирает 38 баллов по цене 0,18 доллара за задачу.

Индекс интеллекта и стоимость за задачу

Средневзвешенная стоимость задачи индекса интеллекта. Стоимость каждой оценки рассчитывается на основе входных данных, попаданий в кэш, записи в кэш, рассуждений и цен токенов ответов, разделенных на количество задач и взвешенных по весу индекса интеллекта.

Полные результаты и методология

Общие оценки отражают разные сильные стороны. Claude Fable 5.1 получает более высокие баллы по тестам AA-Briefcase и SciCode, а GPT-6 Astra — по тестам Terminal-Bench 4.0 и AutomationBench-AA Score.

Вклад категорий в индекс интеллекта остается на уровне «Агенты»: 30%, «Кодирование»: 20%, «Общее»: 30% и «Научное мышление»: 20%. Terminal-Bench 4.0 сохраняет тот же вес, что и Terminal-Bench 2.1, а AutomationBench-AA заменяет 𝜏³-Banking с его весом 5%.

Оценки с личными вопросами или ответами составляют 45% веса в Индексе интеллекта версии 4.3 по сравнению с 40% в версии 4.2.