Анонс AA-Briefcase: комплексный бенчмарк сложной аналитической работы

AA-Briefcase — это новый эталон для тестирования моделей реалистичных задач работы с знаниями в сложных проектах, созданных отраслевыми экспертами. Модели оцениваются в рамках многонедельных исследовательских проектов, каждый из которых включает множество связанных задач и тысячи входных исходных файлов. AA-Briefcase сочетает в себе рубрики и парную оценку для оценки поддающегося проверке успешности выполнения задач, аналитического качества и качества презентации, что дает целостное представление об общих способностях агента в информационной работе.

AA-Портфель Эло

AA-Briefcase Elo — это комбинированный показатель, который объединяет Elo аналитического качества, Elo презентации и показатель прохождения рубрики, при этом эффективность рубрики конвертируется в Elo посредством синтетических личных встреч. Границы доверительного интервала Эло и 95% фиксируются на уровне 0.

Claude Fable 5 достигает наивысшего рейтинга AA-портфеля Elo, который сочетает в себе рейтинг проходимости рубрик с парным аналитическим качеством Elo и качеством презентации Elo.

За ним следуют Claude Opus 4.8 (макс.) и GLM-5.2 (макс.), GPT-5.5 (xhigh) занимает четвертое место, а Opus 4.8 лидирует по качеству представления. GLM-5.2 (макс.) является явным лидером среди моделей открытого веса и предлагает привлекательные агентские возможности по сравнению с ценой.

AA-Портфель измеряет реальные агентские возможности

По мере увеличения возможностей модели используются для решения все более сложных долгосрочных задач работы с знаниями. Мы разработали AA-Briefcase для моделирования того, как модели фактически используются в реальной информационной работе

Реалистичные долгосрочные проекты

AA-Briefcase выходит за рамки отдельных, разрозненных подсказок и оценивает модели в рамках последовательного долгосрочного проекта. Задачи строятся каждую неделю, опираются на общий институциональный контекст и требуют реалистичных результатов компании, таких как финансовые модели, презентации для совета директоров и макеты дизайна.

Составная рубрика и парная оценка

AA-Briefcase сочетает в себе проверку двоичных критериев на предмет достоверности с парной оценкой аналитического качества и качества презентации. В отличие от многих оценок, которые фокусируются на одном показателе, AA-Briefcase проверяет основные возможности, необходимые для высококачественного агента по работе с знаниями, выявляя случаи, когда модели дают результаты, которые выглядят безупречно, но являются неправильными или лишены аналитической строгости.

Большие объемы фрагментированного контекста

Задачи AA-Briefcase требуют, чтобы модели анализировали сотни входных файлов для каждой задачи, охватывая потоки Slack, электронные письма, документы компании, стенограммы встреч и крупномасштабный экспорт данных. В общей сложности AA-Briefcase содержит около 2000 исходных файлов, включая экспорт электронной почты и Slack, включая более 3500 электронных писем и 25 000 сообщений Slack. Эти источники фрагментированы, беспорядочны и часто содержат реалистичные противоречия, проверяя, могут ли модели справиться с двусмысленностью реальной научной работы.

Создано экспертами отрасли

Сценарии AA-Briefcase отражают реальную работу, основанную на знаниях, с задачами, разрабатываемыми в течение нескольких месяцев экспертами в области науки о данных, управления продуктами и корпоративной стратегии из таких компаний, как Google, McKinsey & Company и Boston Consulting Group. Задачи основаны на профессиональном опыте, что делает AA-Briefcase более отражающим двусмысленность, запутанный контекст и конкурирующие приоритеты, которые определяют реальную информационную работу.

Чтобы обеспечить целостность оценки, все 91 задание в четырех сценариях проекта AA-Briefcase являются конфиденциальными, включая инструкции к задачам, входные файлы проекта и критерии оценки. Публичный пятый сценарий был опубликован через Hugging Face как представление структуры сценария, подачи и оценки. Это не учитывается при подсчете официальных результатов AA-Briefcase и носит лишь демонстративный характер.

Как работает АА-Портфель

AA-Briefcase оценивает модели в рамках четырех многонедельных исследовательских проектов, включающих в общей сложности тысячи входных файлов и 91 задачу. Во всех сценариях модели должны реализовывать реалистичные профессиональные рабочие процессы в таких областях, как наука о данных, управление продуктами и корпоративная стратегия. Каждый сценарий представляет собой многонедельный рабочий процесс, который агент выполняет последовательно, каждую неделю выполняя несколько задач. Каждая задача представляет собой результат, оцениваемый по критериям проверок. Несмотря на то, что задачи в рамках сценария используют общие файлы и контекст в течение нескольких недель, модели в настоящее время выполняют каждую задачу независимо, не перенося свои предыдущие отправки.

Каждое задание оценивается по трем типам проверок

Рубрика

Двоичный проход или провал для каждой проверки

Следовала ли модель инструкциям задачи, выявила ли требования, скрытые в исходных файлах, использовала ли правильные доказательства и пришла ли к правильным выводам?

Аналитическое качество

Парное сравнение

По сравнению с представлением другой модели, какой результат является более подробным, аналитически строгим и хорошо подкрепленным?

Презентация

По сравнению с представлением другой модели, какое из них представлено более профессионально?

Стоимость задания АА-Портфель

Стоимость AA-портфеля за задачу

Общая стоимость запуска AA-Briefcase, разделенная на количество задач (91 для полной подачи задач). Стоимость рассчитывается на основе использования токенов и цен на модели, разделенных по входным данным, попаданиям в кэш, записи в кэш, рассуждениям и ценам токенов ответа, включая репрезентативные показатели попаданий в кэш.

AA-Портфель Эло против стоимости за задачу

Что AA-Briefcase говорит нам об агентских возможностях

Сценарии AA-Портфеля отражают большую реальную сложность, чем другие задачи оценки информационной работы.

Задачи AA-Briefcase требуют, чтобы модели сортировали тысячи беспорядочных входных файлов, балансировали конкурирующие требования заинтересованных сторон и создавали сложные результаты, отражающие основные проблемы реальной работы с знаниями. Объективные проверки критериев проверяют, успешно ли модели справляются с этими задачами. Claude Fable 5 лидирует по общему показателю проходимости рубрик, но правильно удовлетворяет всем критериям только в 3% задач. В 31 из 91 задач ни одна модель не набрала более 50%.

Доля задач, в которых каждая модель проходит 100 % или не менее 80 % проверок по критериям, упорядоченная по общему показателю успешности. Модели, у которых нет задач на уровне 80% или выше, исключаются.

Режимы отказа меняются на разных уровнях модели

Менее способные модели чаще всего терпят неудачу при выполнении задач, пропуская соответствующие входные файлы, отправляя непригодные для использования результаты или вообще не создавая результатов. Более производительные модели, измеряемые общим коэффициентом прохождения критериев, чаще не соответствуют всем требованиям задачи, включая те, которые встроены в исходную задачу или скрыты в исходных файлах. Неправильный или незавершенный анализ и ошибки форматирования остаются распространенными на всех уровнях.

Смоделируйте виды отказов по уровням возможностей. Уровни основаны на среднем показателе прохождения критериев каждой модели по всему набору задач, а категории ошибок нормализованы внутри каждого уровня, поэтому сумма всех полос равна 100 %.

Сложность задачи зависит от количества необходимых входных файлов.

Для каждой проверки критериев мы определяем минимальный набор файлов, которые модель должна прочитать, чтобы пройти проверку. На всех уровнях возможностей модели процент прохождения падает по мере увеличения количества требуемых файлов. Поскольку для проверок требуется больше внешних исходных файлов, деградация моделей высшего уровня меньше, чем более слабых моделей. Модели с высоким интеллектом (средний показатель прохождения критериев ≥30%) падает с ~55% при оперативных проверках до ~40% при проверках, требующих более 5 файлов.

Средний балл прохождения рубрики по количеству требуемых входных файлов. Каждая точка показывает средний процент проходимости для уровня модели по критериям рубрики, которые требуют использования информации из такого количества входных файлов. Уровни модели основаны на общем показателе прохождения рубрики: высокий интеллект (≥30%), средний интеллект (15–30%) и низкий интеллект (<15%). Внешние исходные файлы не содержат никаких подсказок контекста задачи или сценария.

Визуальный просмотр улучшает качество презентации

Самые сильные модели презентаций гораздо чаще проверяют свои визуализированные результаты перед отправкой. Claude Fable 5 и Claude Opus 4.8 (макс.), две ведущие модели, представленные Elo, в среднем выполняют 21 и 12 визуальных проверок на задачу соответственно, в то время как модели с более низкими показателями проверяют гораздо меньше: GPT-5.4 Mini — 2 на задачу, а Gemini 3.1 Pro Preview — ~0,1, часто отправляя файлы, которые они никогда не проверяли визуально.

Презентация AA-Портфеля Эло в сравнении со средним количеством вызовов инструмента просмотра изображений на задачу. Модели, которые не поддерживают ввод изображений или никогда не используют инструмент просмотра изображений, исключаются. Данные по состоянию на 18 июня 2026 г.

Подробные результаты

AA-Портфель Эло против индекса интеллекта искусственного анализа

Индекс интеллекта искусственного анализа v4.3.2 включает в себя: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1. Более подробную информацию, включая разбивку каждой оценки и то, как мы ее проводим, см. в методологии индекса интеллекта.

Выходные токены на задачу

Среднее количество жетонов ответов и рассуждений, созданных для каждой контрольной задачи в этой оценке.

Выполнение Frontier AA-Briefcase может занять около 20 минут на одно задание. Например, Claude Opus 4.8 (максимум) тратит в среднем ~24 минуты времени настенных часов на одну задачу, а GLM-5.2 (максимум) — ~19 минут. Однако более длительное время работы не всегда связано с более высокой производительностью: MiniMax-M3 в среднем составляет ~ 26 минут на задачу, что больше, чем у Claude Opus 4.8 (максимум), но при этом достигает AA-Briefcase Elo 1116, что на 240 пунктов отстает от Opus.

Ключевым фактором среднего времени выполнения задачи является количество ходов, которые модель делает перед отправкой. Моделям разрешается совершать до 500 ходов за задачу, и они могут представить свою работу в любой момент или отказаться от задачи с помощью инструмента cancel_task_finish. Большее количество оборотов дает моделям больше времени для работы, но мы не наблюдаем сильной корреляции между количеством ходов и производительностью. Например, Gemini 3.5 Flash имеет в среднем одно из самых высоких значений количества ходов — ~ 88 на задачу, но при этом находится значительно ниже лидеров Эло.

Время на задачу

Расчетное время настенных часов для каждой задачи: сумма жетонов ответа и рассуждения для каждой задачи, деленная на каноническую скорость вывода ответа модели, плюс среднее время выполнения инструмента для каждой задачи. Ниже лучше.

Среднее количество оборотов на задачу

На этой диаграмме показано среднее количество ходов, которые делает агент для выполнения задачи. Это приблизительный показатель того, сколько действий, вызовов инструментов и циклов итераций использует агент для выполнения контрольных задач.

Разбивка вызовов инструментов AA-Портфолио, в среднем на задачу

Вызовы инструментов агента сгруппированы в шесть категорий: исследование (навигация и поиск в рабочей области), чтение (чтение содержимого файла), запись (создание или редактирование файлов), вычисление (выполнение кода или вычислений), просмотр изображения (визуальная проверка файлов) и прочее (что-либо еще).

Изучите дополнительный анализ и данные о .

Внутри сценариев задач

Разверните каждый сценарий, чтобы увидеть примеры задач из четырех областей информационной работы.

Отложенный сценарий

Количественная работа над несовершенными наборами данных, превратившаяся в четкие рекомендации для бизнес-аудитории

• Очистка и сверка данных транзакций
• Документация технических исследований
• Прогнозное моделирование и разработка функций
• Инженерия данных и проектирование схем

Работа продуктового лидера в сложном бизнесе

• Конкурентный демонтаж и исследование рынка
• Приоритизация функций MVP
• Спецификации по написанию и дизайну PRD
• Вывод на рынок и планирование пилотного проекта

Трансформация филиальной сети розничного банкинга

• Анализ данных филиального трафика по каналам
• Разработка и анализ опроса о распределении рабочего времени сотрудников филиала
• Финансовая модель инициатив по обслуживанию филиалов
• Комплексное картирование пути ипотечного кредитования

Стратегические и инвестиционные решения в тяжелом промышленном бизнесе

• Модель сценария спроса и цен на сырьевые товары на 10-летний период
• Таблица операционной модели портфеля перерабатывающей конверсии на уровне активов
• Матрица воздействия государственной политики на экономику сохранения и продажи
• Сравнение прецедентных сделок M&A и сравнительный анализ оценок

Публичный сценарий (не влияет на рейтинг AA-Briefcase Elo или другие показатели)

Предварительная внешняя комплексная проверка производителя сельскохозяйственной продукции для частной инвестиционной компании

• Составление карты конкурентного рынка и цепочки создания стоимости
• Размер рынка и моделирование перехода к «клеточному запрету»
• Презентация целевой оценки комплексной проверки
• Брифинг Confirmatory-DD и видео с открытыми вопросами

Изучите AA-Портфель Lite

Публичный пример не является частью оцениваемого показателя. Четыре сценария запуска остаются в силе, чтобы снизить риск заражения и сохранить портфель AA как надежный показатель возможностей пограничных агентов.

Ресурсы AA-Портфеля