Как Inkling от Thinking Machines справляется со сложной агентской работой
Глубокий стресс-тест открытой модели Inkling на многочасовых исследовательских и аналитических задачах.
Inkling из Thinking Machines Lab набирает 836 баллов по нашему тесту работы с агентскими знаниями AA-Briefcase, опережая DeepSeek V4 Flash, но уступая ведущим моделям открытого веса, включая Nemotron 3 Ultra и GLM-5.2.
Наш новый эталон работы с агентскими знаниями, AA-Briefcase, тестирует модели на реальных задачах в тысячах входных файлов, требующих таких результатов, как электронные таблицы, презентации и макеты пользовательского интерфейса. Эффективность модели измеряется по трем измерениям: проверка двоичных критериев на достоверность, парная оценка аналитического качества и парная оценка качества представления. AA-Briefcase Elo — это единый показатель, объединяющий результаты по всем трем измерениям.
Ключевые выводы
➤ Набирает 19,3% в категории AA-Портфель, ниже MiMo-V2.5-Pro (21,4%), но выше DeepSeek V4 Flash max (18,7%) и Gemini 3.5 Flash-Lite (14,8%). Оценка Inkling по критериям является худшей при выполнении задач, включающих нестандартные типы файлов «Другие» (т. е. не Excel, PowerPoint, PDF или Word), несмотря на встроенную поддержку мультимодальных режимов.
➤ Показатели качества презентации выше, чем качества анализа: оценки Эло составляют 863 и 764 соответственно. Презентация и аналитическое качество измеряются с помощью отдельных независимых попарных проверок на основе представленных моделей. Оценщики сравнивают две работы по одному и тому же заданию и выбирают ту, которая представлена более профессионально (Презентация), и ту, которая содержит более глубокий и лучше структурированный анализ (Аналитическое качество).
➤ Использует в среднем 52 000 токенов вывода для каждой задачи AA-Briefcase и 5 M токенов вывода для всего набора, что немного больше, чем у моделей с аналогичными оценками в AA-Portcase. Компания Inkling использует наибольшее количество токенов для результатов Excel, за которыми следуют Word, PDF, PowerPoint и другие типы.
➤ Имеет один из самых высоких средних показателей по задаче AA-Портфель (81), а также один из самых широких диапазонов, что приводит к гораздо более низкому медиане (49). Несмотря на одно из более высоких значений среднего числа оборотов на задачу, Inkling в среднем использует меньше вызовов инструментов за оборот (0,5).
Inkling набрал 19,3% в рейтинге AA-Портфель, что ниже MiMo-V2.5-Pro (21,4%), но выше DeepSeek V4 Flash max (18,7%) и Gemini 3.5 Flash-Lite (14,8%).
Inkling демонстрирует более высокие показатели качества презентации, чем качества анализа: оценки Эло составляют 863 и 764 соответственно.
Оценка Inkling по критериям является худшей при выполнении задач, включающих нестандартные типы файлов «Другие» (т. е. не Excel, PowerPoint, PDF или Word), несмотря на встроенную поддержку мультимодальных режимов.
Inkling использует в среднем 52 тыс. токенов вывода для каждой задачи AA-Briefcase и 5 млн токенов вывода для всего пакета, что немного больше, чем у моделей с аналогичными оценками по AA-Briefcase. Компания Inkling использует наибольшее количество токенов для результатов Excel, за которыми следуют Word, PDF, PowerPoint и другие типы.
У Inkling один из самых высоких средних оборотов на задачу AA-Портфеля (81), а также один из самых широких диапазонов, что приводит к гораздо более низкому медианному значению (49).
Несмотря на одно из более высоких значений среднего числа оборотов на задачу, Inkling в среднем использует меньше вызовов инструментов за оборот (0,5).
