Замеры времени выполнения задач в бенчмарке AA-Briefcase
Сколько минут требуется разным моделям для подготовки подробного инвестиционного меморандума.
На прошлой неделе мы выпустили AA-Briefcase, нашу запатентованную модель тестирования производительности агентских знаний для долгосрочных задач, созданную отраслевыми экспертами. AA-Briefcase требует моделей для создания результатов, таких как финансовые модели, презентации и макеты дизайна в контексте реалистичных многонедельных проектов.
Одним из ключевых показателей, которые мы измеряем в AA-Briefcase, является среднее время выполнения задачи. Это рассчитывается с использованием использования токенов оценки, репрезентативной скорости вывода модели и времени выполнения инструмента, зафиксированного во время оценки.
Ключевые выводы по времени на выполнение задачи из AA-Briefcase
➤ Claude Opus 4.8 — модель с самым высоким рейтингом, но она также одна из самых медленных: в среднем на одну задачу уходит около 23 минут.
➤ Несколько вариантов рассуждений GPT-5.5 лежат на границе Парето AA-портфеля Эло в зависимости от времени на задачу, включая средний, высокий и высокий. GPT-5.5 (xhigh), в частности, выделяется как одна из самых эффективных и высокопроизводительных моделей: она использует примерно вдвое меньше времени на выполнение задачи, чем Opus 4.8 (11 минут), и при этом занимает пятерку лучших в общем рейтинге AA-Briefcase Elo.
➤ GLM-5.2 также находится на границе Парето, набрав 1261 балл, опережая GPT-5.5 (xhigh, 1159), но также требуя больше времени на выполнение задачи (16,3 минуты). Это также самая эффективная модель с открытыми весами в портфеле AA, за ней следует MiniMax-M3 с 1113.
➤ Если бы Claude Fable 5 все еще был доступен, на одну задачу, вероятно, ушло бы около 28,5 минут: пока он работал, мы измерили ~91 выходной токен в секунду, ~3,1 минуты времени выполнения инструмента на задачу и ~139 000 выходных токенов на задачу.
➤ Время, затрачиваемое на вызовы инструментов и выполнение, составляет лишь ~12 % от общего времени, а оставшаяся часть объясняется подробностью вывода, использованием поворотов и скоростью вывода.
