Kimi K3 заняла 2-е место в бенчмарке AA-Briefcase, уступив только Fable 5
Высокая надёжность аргументации и фактчекинга позволила Kimi K3 обойти большинство американских закрытых конкурентов.
Kimi K3 уступает только Fable 5 в AA-Briefcase, нашем тесте работы с агентскими знаниями, но его запуск стоит дороже, чем Opus 4.8, при этом в среднем на одну задачу уходит около часа.
На прошлой неделе Кими (Moonshot AI) выпустил Kimi K3, модель с параметром 2,8T, которая набрала 57 баллов по индексу интеллекта искусственного анализа, что сопоставимо с такими моделями, как Opus 4.8 и GPT-5.5. В AA-Briefcase Кими К3 набрал Эло 1543, что на +727 лучше, чем у Кими К2,6, и является вторым по величине зарегистрированным результатом, уступая только Клоду Фабле 5 (1574).
AA-Briefcase — это наш новый собственный тест для агентской работы с знаниями, тестирующий модели на полностью частном наборе данных реалистичных задач в тысячах сложных входных файлов. Для выполнения задач требуются такие результаты, как электронные таблицы, презентации и макеты пользовательского интерфейса, производительность которых объединена в единый портфель AA Elo на основе правильности, аналитического качества и качества презентации. Ключевые результаты для Кими К3 в портфеле AA
➤ Второе место после Fable 5: Кими K3 набрал 1543 балла по рейтингу AA-Portcase Elo, что является вторым по величине результатом в целом, опередив GPT-5,6 Sol (максимум, 1501), Claude Sonnet 5 (максимум, 1388) и Claude Opus 4,8 (максимум, 1347). Это улучшение на +727 по сравнению с Kimi K2.6 предыдущего поколения (816), что ставит Kimi K3 только позади Fable 5.
➤ Высокие объективные и аналитические показатели при сравнительно более слабой презентации: Kimi K3 достигает показателя прохождения рубрики 51%, уступая только Claude Fable 5 (56%) и опережая Claude Sonnet 5 (макс., 42,3%) и GPT-5.6 Sol (макс., 41,8%). В нем также зафиксировано аналитическое качество Эло 1754 года, сравнимое с Клодом Фабле 5 (1744). Качество презентации сравнительно хуже: Presentation Elo составляет 1471, ниже GPT-5,6 Sol (макс., 1660) и Claude Opus 4,8 (макс., 1492).
➤ Примерно 10-кратное увеличение стоимости задачи: средняя стоимость Kimi K3 составляет 10,57 доллара США за задачу, что делает ее одной из самых дорогих моделей для работы с AA-портфелем. Это обусловлено ценой на модельные токены, увеличением выходных токенов и относительно высоким использованием оборотов: в среднем 83 хода на задачу по сравнению с 67 для Claude Fable 5 и 50 для GPT-5.6 Sol (макс.). Цена Kimi K3 составляет 3/15 долларов США за 1 миллион токенов ввода/вывода со скидкой 90 % на кэшированные токены.
➤ В среднем около часа на одно задание: у Кими K3 среднее время на одно задание в портфеле AA составляет 56,4 минуты. Это обусловлено большим количеством оборотов, а также более высоким использованием выходных токенов и более низкими скоростями при использовании собственного API Kimi. Kimi K3 использует 120 тысяч выходных жетонов на задачу и 83 хода на задачу по сравнению с 42 тысячами выходных жетонов и 54 ходами в Kimi K2.6. Это среднее время выполнения задачи является одним из самых высоких, зафиксированных в AA-Briefcase: оно примерно в 2,5 раза выше, чем у Claude Fable 5, и примерно в 3,8 раза выше, чем у Grok 4.5 (высокое).
