FrontierCode на AI Стата: способен ли ИИ писать код для продакшна?

FrontierCode 1.1 от Cognition проверяет, вносят ли модели ИИ изменения в код, которые могли бы объединить сопровождающие реальных репозиториев с открытым исходным кодом. Ведущие модели по-прежнему выходят из строя более чем в 40% случаев.

Обзор

FrontierCode — это тест кода от Cognition, созданный совместно с сопровождающими репозиториями с открытым исходным кодом. Каждая задача требует от агента внести изменения в реальный репозиторий с открытым исходным кодом, а тест оценивает, достаточно ли это изменение для того, чтобы сопровождающий этого репозитория мог его объединить.

FrontierCode оценивает больше, чем прохождение тестов. В отличие от других оценок кода, модели также оцениваются по таким параметрам, как внесение чрезмерных изменений и больших различий, изменение файлов за пределами соответствующей области действия или добавление бесполезных тестов. Мы считаем, что этот подход ценен в текущем контексте: модели теперь очень хорошо справляются с задачами кодирования, но их изменения все равно могут потребовать существенной очистки, прежде чем сопровождающий их объединит.

Мы запускаем FrontierCode 1.1 Main, основной набор из 100 задач из 150 задач эталонного теста, при этом каждая модель используется в одном пакете агентов для сравнения яблок с яблоками. Задачи являются частными, чтобы избежать заражения.

Ведущие модели по-прежнему выходят из строя более чем в 40% случаев. Claude Opus 5.5 (максимум с запасным вариантом) лидирует со средним баллом 52% и процентом проходимости 58%. Показатель успешности — это доля попыток, которые соответствуют всем критериям блокировки, а баллы также отражают желательные неблокирующие попытки.

FrontierCode 1.1: Оценка

Как работает FrontierCode

Обзор тестов

Компания Cognition создала FrontierCode совместно с сопровождающими 36 репозиториев с открытым исходным кодом, которые потратили более 40 часов на каждую задачу. Cognition анонсировала FrontierCode в июне 2026 года и выпустила версию 1.1 в июле 2026 года, в которую добавлены правила справедливого использования Интернета.

Верификатор FrontierCode оценивает каждую попытку с помощью детерминированных тестов и качественной проверки: скрытые тесты и проверки команд, ограничения на то, какие файлы и какой объем кода затрагивает изменение, а также проверка LLM на соответствие критериям сопровождающих. Каждая проверка является либо блокирующей, либо неблокирующей. Попытка, провалившая любую проверку блокировки, оценивается в 0 баллов, а попытка, прошедшая все проверки, оценивается в диапазоне от 70% до 100%.

Методология

• Набор задач: мы оцениваем 100 задач FrontierCode 1.1 Main с тремя попытками на каждую задачу.
• Агентский набор: каждая модель работает в Stirrup, нашем агентском пакете с открытым исходным кодом, с ограничением в 250 оборотов на попытку.
• Оценка: судья LLM оценивает критерии рассмотрения рубрики. В качестве судьи мы используем GPT-6 Luna (medium).
• Ищем ответ: попытка, которую сканер траектории Cognition пометит как соответствующую правилам добросовестного использования Интернета, оценивается в 0 баллов.
• Подсчет очков: мы усредняем три попытки каждой задачи, затем усредняем оценки задачи с одинаковым весом.

Ключевые выводы

Проходной балл

Мы запускаем каждую задачу три раза. Попытка считается успешной, если она соответствует всем проверкам блокировки. Процент успешных попыток варьируется от 58% попыток для Claude Opus 5.5 (максимум с резервным вариантом) до 16% для Muse Glimmer (высокий).

FrontierCode 1.1: Скорость прохождения

Стоимость

Стоимость задачи варьируется более чем в 100 раз: от 0,09 доллара США для GPT-6 Luna (максимум) до 12,00 долларов США для Claude Fable 5.1 (максимум с резервным вариантом). Четыре модели находятся на границе Парето по соотношению стоимости: GPT-6 Luna (максимум) с 42% и 0,09 доллара США за задачу, MiMo-V2.6-Pro с 45% и 0,18 доллара США, GPT-6.1 Sol (максимум) с 49% и 0,81 доллара США и Claude Opus 5.5 (максимум с резервным вариантом) с 52% и 10,15 доллара США. Последний шаг на рубеже, от GPT-6.1 Sol (максимум) до Claude Opus 5.5 (максимум с резервным вариантом), добавляет 3 балла, что более чем в 12 раз увеличивает стоимость задачи.

GPT-6.1 Sol (макс.) набирает на 2 балла больше, чем GPT-6 Astra (макс.), при цене примерно в пятую часть стоимости задачи, 0,81 доллара США против 4,22 доллара США. Claude Sonnet 5.5 (максимум с резервным вариантом) использует на ~50 % больше токенов вывода на задачу, чем Claude Opus 5.5 (максимум с резервным вариантом), но при половине цены за токен он стоит меньше: 8,26 доллара против 10,15 доллара.

FrontierCode 1.1: Оценка и стоимость задачи

Средняя стоимость задачи в оценке. Затраты делятся по входным данным, попаданию в кэш, записи в кэш, рассуждениям и цене токена ответа, если доступно каноническое количество токенов.

Использование токена и время

Модели GPT-6 лидируют по эффективности токенов: GPT-6 Astra (макс.) и GPT-6.1 Sol (макс.) используют ~27 тыс. и ~33 тыс. выходных токенов на задачу по сравнению с ~157 тыс. для Claude Opus 5.5 (максимум с резервным вариантом) и ~236 тыс., больше всех моделей, для Claude Sonnet 5.5 (максимум с резервным вариантом). Время выполнения задачи зависит как от использования токена, так и от скорости вывода в реальном времени и варьируется от ~3 минут для Inkling (xhigh) до ~46 минут для Qwen3.8 Max (0902).

FrontierCode 1.1: количество токенов вывода для каждой задачи

Среднее количество жетонов ответов и рассуждений, созданных для каждой контрольной задачи в этой оценке.

Ресурсы FrontierCode 1.1

Спасибо команде Cognition за создание FrontierCode и работу с нами над внедрением его в искусственный анализ.