Opus 4.6 захватывает лидерство в решении реальных аналитических задач
Замеры качества работы с комплексными многостраничными корпоративными кейсами и документами.
Мы работали с Anthropic над тестированием Claude Opus 4.6 перед запуском — он достиг Elo 1606 с адаптивным мышлением, что почти на 150 пунктов опережает GPT-5.2 (xhigh). Это означает, что процент побед составляет около 70% по сравнению с флагманом OpenAI, выпущенным в декабре 2025 года.
Используя ~160 миллионов токенов в режиме адаптивного мышления для выполнения 220 задач в GDPval-AA, Claude Opus 4.6 использовал на 30–60% больше токенов, чем Opus 4.5, но все же намного меньше, чем GPT-5.2 (xhigh). Такое увеличение использования токенов в сочетании с высокой ценой за токен (5/25 долларов США за миллион токенов, без изменений по сравнению с Opus 4.5) делает Claude Opus 4.6 самой дорогой моделью, которую мы до сих пор тестировали на GDPval-AA.
Ниже приведена разбивка использования токенов, оборотов и стоимости, а также примеры выходных файлов.
Полный набор тестов индекса искусственного анализа интеллекта находится в стадии разработки — после завершения мы поделимся полной обновленной информацией о производительности Opus 4.6.
GDPval-AA — это наш основной показатель общей производительности агентов, измеряющий производительность моделей при выполнении задач информационной работы, от подготовки презентаций и анализа данных до редактирования видео. Модели используют доступ к оболочке и просмотр веб-страниц в агентном цикле через Stirrup, нашу агентную справочную систему с открытым исходным кодом.
Базовый набор данных GDPval был выпущен OpenAI в сентябре 2025 года для сбора автономных рабочих задач по 44 профессиям в 9 различных секторах. Он дает представление о типах задач, которые модели могут решать и которые актуальны для современной рабочей силы, и является очень реалистичным благодаря экспертной фильтрации и курированию команды OpenAI.
В Claude Opus 4.6 для достижения такого улучшения производительности используется как больше токенов, так и ходов (как в тестируемых нами конфигурациях без рассуждений, так и в адаптивных рассуждениях с конфигурациями максимальных усилий). Он использовал на 30–60% больше токенов, чем Opus 4.5, но все же намного меньше, чем GPT-5.2 (xhigh). Наряду с более высоким использованием токенов, Opus 4.6 более широко использовал инструмент просмотра изображений, чтобы «видеть» свою работу, чем его предшественник — это позволяет ему проверять свою работу и выполнять итерации, что является важной возможностью для работы над задачами в Stirrup, а также в других агентских продуктах, таких как Claude Code и Claude Cowork.
Claude Opus 4.6 использовал на 30–60% больше токенов, чем Opus 4.5, но все же гораздо меньше, чем GPT-5.2 (xhigh).
В Claude Opus 4.6 используется больше оборотов для каждой задачи, чем в Opus 4.5, что отражает итеративный подход к проверке и совершенствованию работы.
Claude Opus 4.6 на данный момент является самой дорогостоящей моделью для завершения GDPval-AA из-за увеличения использования токенов и сохранения цен на уровне 5/25 долларов США за миллион токенов ввода/вывода (без учета скидок на кэшированные токены). Несмотря на высокую стоимость, его первое место по производительности ставит его на границу Парето по соотношению производительности и затрат по GDPval-AA.
Несмотря на высокую стоимость, первое место Claude Opus 4.6 ставит его на границу Парето для ELO и затрат на GDPval-AA.
Claude Opus 4.6 создает профессионально выглядящий график производства с цветными визуальными элементами и структурированным макетом.
GPT-5.2 (xhigh) создает более упрощенный график производства на основе таблиц.
Gemini 3 Pro Preview (высокая версия) создает производственный график в виде календаря с категориями с цветовой кодировкой.
Кими К2.5 (Рассуждение) создает подробный производственный график в виде диаграммы Ганта.
Подробное сравнение GDPval-AA можно найти на веб-сайте искусственного анализа.
