Inkling Small почти догнал базовую модель Inkling при весе втрое меньше
Прорыв в дистилляции: модель с менее чем 1/3 параметров уступает полноразмерной версии всего один балл в общем индексе.
Новый Inkling Small от Thinking Machines набрал 40 баллов в Индексе интеллекта искусственного анализа, что на один балл ниже, чем у его флагманского брата Inkling с менее чем третью общих и активных параметров.
Inkling Small — это вторая модель, выпущенная Thinking Machines Lab, которая появится через две недели после запуска Inkling на 41-м месте в индексе искусственного интеллекта. Thinking Machines — это лаборатория искусственного интеллекта в Сан-Франциско, основанная бывшим техническим директором OpenAI Мирой Мурати. Inkling Small — это модель рассуждения с открытыми весами с общим числом параметров 276B (12B активных MoE), текстовым, графическим и речевым вводом, а также контекстным окном из 256 тысяч токенов.
Ключевые результаты
➤ Inkling Small имеет тот же уровень интеллекта, что и Inkling, но составляет менее трети его размера: 276B общих параметров (12B активных) против 975B (41B активных) у Inkling. Ни одна модель с открытыми весами такого размера или меньшего размера не имеет более высоких показателей по индексу интеллекта. DeepSeek V4 Flash (макс.) при аналогичном размере всего 284 байт (13 байт активных) также набирает 40 баллов, MiniMax-M3 достигает 44 с активными 23 байтами, а GLM-5.2 (макс.) достигает 51 с активными 40 байт.
➤ Inkling Small соответствует или превосходит Inkling по нескольким оценкам кодирования и передового мышления. Он набирает более высокие баллы на Humanity's Last Exam (32% против 30%), GPQA Diamond (89% против 87%), CritPt (8% против 5%) и SciCode (49% против 46%) и достигает того же результата на Terminal Bench v2.1 (55%).
➤ Inkling Small не так силен, как Inkling, в агентских задачах и фактических знаниях. Inkling Small отстает от Inkling по τ³-Banking (15% против 24%), хотя и опережает его по GDPval-AA v2 (1269 против 1237 Elo). По индексу всеведения АА он получает -9 против положительных 2 у флагмана, что означает, что неправильные ответы перевешивают правильные; это обусловлено более низкой точностью АА-всеведения (31% против 40%), а не галлюцинациями: уровень галлюцинаций Инклинга Смолла немного ниже, чем у его старшего брата (57% против 63%).
➤ Inkling Small в среднем выдавала ~24 тыс. токенов на задачу индекса интеллекта, что немного меньше, чем Inkling (~25 тыс.), в то время как коллеги с таким же уровнем интеллекта в среднем набирали гораздо больше. В среднем DeepSeek V4 Flash составил ~45 КБ, а GPT-5.4 mini (xhigh) ~78 КБ. Для полного индекса интеллекта потребовалось примерно одинаковое количество токенов вывода для Inkling Small и Inkling.
Дополнительные сведения о модели
➤ Тип: модель рассуждения с открытыми весами (лицензия Apache 2.0).
➤ Размер: всего 276 байт параметров, 12 байт активных (МО)
➤ Способы ввода: текст, изображение и речь.
➤ Способы вывода: текст
➤ Контекстное окно: 256 тыс. токенов (Inkling поддерживает 1 млн)
Поздравляем команду Thinking Machines с релизом!
Inkling Small — это MoE с 276B параметров и 12B активных параметров, что составляет менее трети Inkling. Ни одна модель с открытыми весами такого размера или меньшего размера не имеет более высоких оценок. DeepSeek V4 Flash (макс.) имеет 13B активных параметров (всего 284B) и набирает такой же балл, тогда как MiniMax-M2.7 (230B, 10B активный) находится на 2 балла ниже.
Инклинг Смолл имеет более низкие оценки, чем Инклинг по всезнанию АА: -9, тогда как Инклинг получает 2 балла, что означает, что у него больше неправильных ответов, чем правильных. Более низкий балл обусловлен более низкой точностью (31% против 40%), что типично для моделей с меньшим общим количеством параметров. Уровень галлюцинаций Инклинга Смолла немного ниже (57% против 63%).
Inkling Small в среднем выдавал ~24 тыс. токенов на задачу индекса искусственного анализа интеллекта, что немного меньше, чем Inkling (~25 тыс.) — токен эффективен рядом с аналогами, близкими к ее уровню интеллекта, такими как DeepSeek V4 Flash (максимум, ~45 тыс.) и GPT-5.4 mini (xhigh, ~78 тыс.). Для проведения полной оценки индекса интеллекта потребовалось ~131 млн токенов вывода, что немного больше, чем ~128 млн у флагмана.
Inkling Small получает более высокий балл, чем его старший брат, в AA-Briefcase, нашем долгосрочном эталоне агентской информационной работы: 917 Elo против 839 для Inkling, что в значительной степени обусловлено лучшим представлением. Процент проходимости рубрик практически одинаков (20% против 19%), что позволяет предположить, что результаты Inkling Small представлены скорее лучше, чем существенно точнее; однако он также выполнил задачи менее чем за половину ходов (в среднем 34 против 81 на задачу).
Полная разбивка показателей Inkling Small по девяти оценкам Индекса искусственного анализа интеллекта
