Claude Opus 5: новый эталон в интеллектуальной работе ИИ-агентов
Флагман Anthropic пятого поколения устанавливает новые рекорды в агентских рабочих процессах и автономном исследовании.
Claude Opus 5 — новый лидер в нашем эталоне работы с агентскими знаниями AA-Briefcase, превосходящем Claude Fable 5 почти на 150 Эло и снижающем стоимость задачи на 20 %.
Anthropic выпустила Claude Opus 5, нового лидера в индексе искусственного анализа интеллекта, а также модель №1 в нашем собственном эталоне работы с агентскими знаниями AA-Briefcase. При максимальном усилии Клод Опус 5 набирает Эло AA-Портфеля 1720, что на 146 очков опережает Клода Фабле 5 (1574). Его варианты xhigh (1693) и high (1606) также превосходят Fable 5, но при этом являются более экономичными.
Мы протестировали все пять настроек перед выпуском. Claude Opus 5 (максимум) стоит 17,79 долларов США за задание, что на 20 % меньше, чем Claude Fable 5 (22,30 долларов США). Варианты xhigh и high предлагают более высокий компромисс между затратами и эффективностью: оба набирают больше очков, чем Fable 5, но стоят на 64% (14,26 доллара США) и 47% (10,41 доллара США) дороже соответственно.
AA-Briefcase — это наш собственный эталон для агентской работы с знаниями, оценивающий модели для реалистичных частных задач, охватывающих тысячи входных файлов и требующих результатов, таких как исследовательские отчеты, презентации и электронные таблицы. Производительность измеряется по корректности, аналитическому качеству и качеству презентации и объединяется в единый показатель — AA-Портфель Эло.
Ключевые результаты AA-Briefcase по всем 5 направлениям усилий Claude Opus 5
➤ Лидирует по объективным критериям и аналитическому качеству, но не по представлению: AA-Briefcase измеряет эффективность по объективным критериям рубрик, аналитическому качеству и качеству презентации. Успехи Claude Opus 5 обусловлены, прежде всего, процентом прохождения рубрик и качеством анализа. При максимальных усилиях он достигает Elo аналитического качества 2016 года, что почти на 300 Elo выше, чем у Claude Fable 5. По сравнению с Opus 4.8, качество презентации наблюдается меньшее улучшение: с Elo презентации 1628, все еще на ~ 40 Elo позади GPT-5.6 Sol (макс. 1666).
➤ Половина стоимости возможностей работы с знаниями на уровне Fable: Claude Opus 5 предлагает широкий спектр компромиссов между затратами на разведку в пяти настройках усилий. Максимальное усилие стоит 17,79 доллара за задачу, что примерно на 20 % меньше, чем в Claude Fable 5 (22,30 доллара), при этом достигается более высокий рейтинг AA-Portcase Elo. Примечательно, что Claude Opus 5 при больших усилиях превосходит Claude Fable 5 на 32 Эло, при этом стоимость каждого задания составляет 10,41 доллара, что составляет менее половины цены. Claude Opus 5 сохраняет цену Opus 4.8 в размере 5/25 долларов США за миллион токенов ввода/вывода с надбавкой 25 % за запись в кеш и скидкой 90 % за попадания в кеш.
➤ Более 25 минут на одно задание для достижения высочайшей производительности: все три самых высоких параметра усилия Claude Opus 5 в среднем составляют более 25 минут на одно задание AA-Портфеля (36,2, 34,3 и 25,7 минуты для максимального, xвысокого и высокого уровня). При максимальном усилии это примерно на 50% дольше, чем у Opus 4.8 (24,1 минуты), в первую очередь за счет увеличения количества оборотов. Claude Opus 5 в среднем выполняет 103, 91 и 76 оборотов на задачу на трех верхних уровнях усилий по сравнению с 55 для Opus 4.8 (макс.)
