Анонс EnterpriseOps-Gym-AA: бенчмарк DevOps и enterprise-автоматизации

EnterpriseOps-Gym-AA призван быть гораздо более сложным и сложным, чем предыдущие тесты корпоративных агентов. Эта сложность умышленна: она создана для того, чтобы проверить, может ли агент обеспечить целостность реального рабочего процесса от начала до конца, охватывая множество взаимозависимых систем и этапов, как это сделал бы способный сотрудник.

Тест помещает агентов в работающие корпоративные системы и предлагает им выполнить многоэтапную работу с отслеживанием состояния в 8 бизнес-сферах, включая HR, управление ИТ-услугами и обслуживание клиентов, оценивая их по конечному состоянию базовых баз данных, а не по предпринятым шагам. Мы адаптировали исходный тест EnterpriseOps-Gym для работы в нашем пакете агента Stirrup, что позволяет нам последовательно запускать тест для всех моделей и продолжать добавлять новые модели по мере их выпуска.

На момент запуска оценки Claude Fable 5 (макс.) лидирует с 51%, опережая Gemini 3.5 Flash (высокий, 50%), GPT-5.5 (xhigh, 47%), а GLM-5.2 (макс., 43%) является моделью с самым высоким показателем открытых весов.

Ключевые элементы EnterpriseOps-Gym-AA

➤ Многоэтапная корпоративная работа с отслеживанием состояния. Агенты управляют действующими корпоративными системами, действия в которых часто необратимы, поэтому они не могут найти решение методом грубой силы.

➤ Использование интерактивных инструментов в 8 доменах: модели действуют через действующие серверы MCP, используя 164 таблицы базы данных и 512 инструментов, охватывающих основные бизнес-системы, инструменты совместной работы и междоменные гибридные задачи.

➤ Проверка SQL на основе результатов: каждая задача оценивается с помощью исполняемого SQL-проверки конечного состояния среды, проверки достижения цели, целостности состояния, соответствия политике и непредвиденных побочных эффектов.

➤ Разработано ServiceNow Research: разработано ServiceNow Research совместно с Милой и Университетом Монреаля.

Ключевые результаты

➤ Граница едва превышает 50 %: Claude Fable 5 (макс.) лидирует с 51 %, единственная модель, явно превышающая половину, а Gemini 3.5 Flash (высокий) отстает с 50 %. Даже самые мощные модели выполняют лишь около половины из 1117 задач режима оракула.

➤ Чтобы успешно выполнить задачу, модели должны пройти все проверки: одно пропущенное ограничение часто означает провал, поэтому, хотя модели проходят большинство отдельных проверок (79% для лидера, Клода Фабле 5), они выполняют гораздо меньше целых задач (51%).

➤ Самая тяжелая работа — это структурированная, насыщенная политиками работа: HR (26%) и управление ИТ-услугами (28%) — самые сложные области, тогда как более легкая работа по совместной работе, такая как электронная почта (58%) и диск (53%), заметно проще.

➤ Открытые веса находятся в пределах ~8 баллов: GLM-5.2 (максимум, 43%) лидирует по открытым весам, отставая от общего лидера примерно на восемь пунктов, а DeepSeek V4 Pro (максимум, 40%) и Kimi K2.7 (40%) отстают.

Мы хотели бы поблагодарить ServiceNow, Mila и Université de Montréal, а также авторов тестов за их отличную работу по созданию EnterpriseOps-Gym, и ценим их сотрудничество в запуске его в рамках искусственного анализа.

Производительность по доменам

Помимо общего рейтинга, модели обладают ярко выраженными личностями на уровне предметной области. GPT-5.5 (xhigh) занимает 3-е место в общем зачете и является единственной лучшей моделью в службе поддержки клиентов, однако в Teams он опускается на 20-е место из 28, где значительно опережают модели Claude и Qwen. Mistral Medium 3.5 является зеркальным отражением: 18-е место в целом, но 4-е место по электронной почте, а также последнее место по структурированным рабочим процессам HR и ITSM. Заголовок модели может скрывать резкие сильные и слабые стороны каждого домена.

Стоимость за задачу

Стоимость задачи колеблется примерно в 90 раз: от ~0,01 доллара США для DeepSeek V4 Pro (максимум) до 0,93 доллара США для Claude Fable 5 (максимум), но более высокие затраты не гарантируют более высокий балл. DeepSeek V4 Pro достигает 40% всего за ~0,01 доллара США за задачу (благодаря щедрым ценам на собственные API DeepSeek), что находится в пределах десяти пунктов от лидера и при этом лишь часть стоимости Frontier. Claude Opus 4.8 (макс.), вторая самая дорогая модель с ценой 0,79 доллара, достигает 44%, едва опережая GLM-5.2 (макс.), который набирает 43% всего за 0,10 доллара.

Усилие на задачу: ходы и жетоны

Модели различаются тем, сколько труда они вкладывают в каждую задачу, и это не всегда надежно окупается. Лидер, Claude Fable 5 (максимум), эффективен в среднем 6,5 ходов на одно задание, тогда как Gemini 3,5 Flash (высокий) занимает 13,5 и Grok 4,5 (высокий) 17,4. Изучив эти цифры, мы обнаружили, что Gemini 3.5 Flash, как правило, делает больше попыток выполнить каждую задачу, прежде чем сдаться, в то время как Grok 4.5 уступает по производительности, поскольку временами он застревает в циклах, в которых постоянно вызывает одни и те же инструменты.

Пример задачи

Типичная гибридная задача охватывает две работающие системы — Google Drive и IT Service Management — в одном запросе. Инструкция по выполнению задачи

Подготовьтесь к внешнему аудиту в понедельник: создайте на Диске защищенную от копирования папку «Аудит 2025 — Финансовые документы и журналы доступа» и поместите в нее четыре документа — финансовые отчеты, показывающие доход в размере 47,2 млн долларов США с подробностями за первый-четвертый кварталы, электронную таблицу для отслеживания входа в систему, контрольный список аудита и инструкции по доступу к аудитору. Отметьте папку, поделитесь ею только для просмотра с двумя внешними аудиторами, срок доступа которых истекает 28 февраля, переместите инциденты «Дисковое пространство» и «Переключение портов ядра-коммутатора-штаб-квартиры» в решенные, но не закрытые, задокументированные как готовые к аудиту, и удалите устаревший отчет о бюджете за четвертый квартал.

Claude Opus 4.8 (максимум) решил эту проблему за 4 хода и 12 вызовов инструментов, параллельно группируя независимые операции: создание папки, поиск инцидентов и поиск файлов вместе; затем все четыре документа, оба разрешения инцидентов и удаление; наконец, оба разрешения аудитора.

При оценивании эти шаги никогда не рассматриваются, но пять верификаторов SQL запускаются для окончательного состояния базы данных, чтобы проверить каждое из следующих событий: оба инцидента разрешены, папка существует, она содержит ровно четыре файла и имеется активное разрешение просмотра для аудиторов. Все пять должны пройти — агент, который закрыл инциденты вместо того, чтобы их разрешить, или бросил в папку пятый файл, получает ноль баллов. Именно эта система оценок по принципу «все или ничего» объясняет, почему модели проходят большинство индивидуальных проверок, но выполняют лишь около половины всех задач.

Что дальше

Ресурсы