Анонс AA-AnalystAgent: бенчмарк для количественного анализа таблиц и документов
Проверка способности ИИ-агентов работать с комплексными финансовыми моделями Excel и сложными корпоративными отчётами.
AA-AnalystAgent оценивает производительность агентской модели при количественном анализе по реальным электронным таблицам и документам: 80 вопросов в 14 доменах, 5 попыток на вопрос, 26 моделей, 10 400 оцененных попыток, с проходом^5 (решено во всех 5 попытках) в качестве основного показателя. Лучшая модель правильно выполняет только 54% задач за все пять попыток.
Представляем AA-AnalystAgent
AA-AnalystAgent — это наш новый эталонный агент для количественного анализа реальных таблиц и документов. Лучшая модель выполняет только 54% задач правильно со всех пяти попыток. В тройку лидеров входят Claude Opus 5 с 54%, GPT-5.5 с 50% и Claude Fable 5 с 49%.
В реальных ролях аналитика профессиональное суждение и опыт важнее, чем одна лишь арифметика. Требуется рассудительность, чтобы интерпретировать источники, решить, какие исключения и предостережения применимы, и выбрать методологию, позволяющую получить надежные цифры.
Когда компании и исследователи передают аналитическую работу агенту ИИ, они должны быть уверены, что он каждый раз будет давать правильный ответ. Вот почему AA-AnalystAgent запускает каждую задачу пять раз и отчеты проходят ^5 в качестве основного показателя. Задача считается решенной только в том случае, если модель ответит правильно на все пять независимых попыток.
Как работает AA-AnalystAgent
Обзор тестов
- 🔢 80 вопросов по 14 деловым и научным областям, включая отчеты о расходах на здравоохранение, статистику торговли и товаров, данные о гидрологии и погоде, государственные ассигнования, модели затрат на энергию, финансовые модели, экологическую отчетность и графики проектов.
- 🧠 Пять функциональных сегментов рабочего процесса, охватывающих реальную аналитическую работу: поиск и диагностика источников, фильтрация и итоговые значения, коэффициенты/тренды/чувствительность, моделирование прибылей и убытков и моделирование денежных средств/баланса/оценки.
Методология
- 🤖 Агентский пакет: каждая задача решается агентом, работающим в нашем справочном пакете Stirrup с открытым исходным кодом, с инструментами для выполнения кода, веб-загрузки, просмотра изображений и отправки ответов.
- 📊 Подсчет баллов: каждое задание выполняется пять раз для каждой модели, и каждый ответ оценивается как правильный или неправильный в бинарном порядке по сравнению с заданным эталонным ответом посредством предварительной проверки числовой эквивалентности и судьи LLM. Три показателя: проход^5, проход@1 (средний процент проходов), проход@5.
Ключевые выводы
Gemini 3.1 Pro Preview от Google DeepMind решает 81% задач хотя бы один раз, но только 41% из всех пяти и финиширует девятым. Агент-аналитик полезен только в том случае, если его ответы остаются верными без повторной проверки — правильный случайный ответ все равно необходимо проверить, а это работу, которую агент должен был устранить.
AA-AnalystAgent: pass@1 vs pass@5 vs pass^5, 10 лучших моделей
Как модели терпят неудачу
Мы классифицировали 1567 неудачных попыток AA-AnalystAgent в десяти ведущих моделях по семи режимам сбоя, помечая каждую попытку каждым обнаруженным режимом. Наиболее распространенным является привязка к неверной ранней гипотезе, присутствующая в 57% неудач. Модели рано соглашаются с источником или интерпретацией и защищают его до конца траектории.
Самые резкие контрасты заключаются в том, как модели обращаются со своими источниками. Gemini 3.1 Pro Preview верит источникам на слово, но не справляется с исполнением. Он находится ниже медианы десяти моделей как по неправильному прочтению терминов предметной области, так и по переоценке доказательств в пользу общего априора, в то же время демонстрируя выше среднего уровень ошибок моделирования, масштабирования и агрегирования (51% неудач) и пропуска проверки (39%). Грок 4,5 (высокий) — наоборот. Он понимает язык предметной области, а затем заменяет то, что говорится в документах, своими собственными предположениями, неправильно интерпретируя термины предметной области в 23% случаев неудач по сравнению со средним значением 38% и отвергая доказательства в 54% случаев против медианного значения 43%. Кими К3 (макс.) ошибается на 48%, отставая от Грока 4,5 на 25 очков.
AA-AnalystAgent: частота возникновения режима отказа
Цена данного балла
Цена определенного балла на AA-AnalystAgent сильно варьируется. Claude Sonnet 4.6 (Адаптивное мышление, максимальное усилие) и MiMo-V2.5-Pro набрали 20%, по 1,34 и 0,05 доллара за задачу. То же самое происходит и на вершине: Claude Opus 4.7 (Adaptive Reasoning, Max Effort) — самая дорогая модель, работающая по цене 1,98 доллара за задачу и занимающая восьмое место, а GPT-5.5 (xhigh) работает с ней за 1,15 доллара и занимает второе место. Уровень Flash также не является автоматически более дешевым вариантом: Gemini 3.5 Flash (высокий) стоит 1,79 доллара США по сравнению с Gemini 3.1 Pro Preview за 0,80 доллара США.
AA-AnalystAgent: pass^5 против стоимости за задачу
Модели с открытыми весами
Kimi K3 (макс.) — лучшая модель с открытыми весами на AA-AnalystAgent с показателем 39%, что на 15 пунктов отстает от закрытой границы и опережает восемь других протестированных моделей с открытыми весами. Следующей моделью открытых весов является DeepSeek V4 Flash (Рассуждение, Максимальное усилие) с 25%, поэтому разброс внутри поля открытых весов в настоящее время шире, чем разрыв от ее лидера до передового уровня.
