Эра воплощённого ИИ: анонс бенчмарка AA-Robotics v0.1

Мы запускаем AA-Robotics v0.1, нашу предварительную версию исследования, которая измеряет производительность передовой языковой модели при понимании, планировании и действиях в физическом мире. В версии 0.1 каждая модель получает управление 6-осевой роботизированной рукой (5 суставов и захват) и простой целью. Сегодня мы опубликуем результаты по нашим первым восьми задачам.

Представляем AA-Робототехнику v0.1

С начала 2026 года модели пограничных языков добились огромного прогресса в способности управлять роботами-манипуляторами. Теперь мы считаем, что будущее робототехники, вероятно, будет связано с сильными агентами широкого профиля, и приходим к выводу, что отслеживание прогресса языковых моделей для задач робототехники будет важно - даже если передовые языковые модели сами по себе непригодны для промышленного использования робототехники.

AA-Robotics v0.1 — это наша предварительная версия простейшего эксперимента, который мы разработали для проверки этого — языковых моделей в средствах кодирования агентов, непосредственно управляющих манипулятором робота. Каждая модель получает управление 6-осевой роботизированной рукой (5 суставов и захват) и простой целью для каждой задачи.

Мы обнаружили, что передовые языковые модели в средствах кодирования действительно недавно стали способны напрямую манипулировать руками роботов для решения простых задач. Сегодня они слишком медленны и дороги для любого производственного использования – почти на два порядка хуже, чем у человека. Мы ожидаем, что ситуация быстро изменится.

GPT-6 Astra занимает первое место в AA-Robotics v0.1 с результатом 69, за ним следуют GPT-6.1 Sol, Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1. GPT-6 Astra заняла 30 минут и стоила в среднем 16,36 доллара за задачу.

Оценка AA-Робототехника

Каждая попытка оценивается по 100-балльной шкале: выполнение задания оценивается в 100 баллов, а частичный результат приносит баллы за достигнутый прогресс.

Восемь задач

AA-Robotics v0.1 первоначально включает в себя восемь настольных задач, смоделированных на основе повседневной деятельности, для оценки ряда возможностей робототехники: контроля и ловкости, таких как точный захват и обращение с объектами, пространственного мышления, такого как понимание того, как объекты взаимодействуют друг с другом, и адаптивности, измерения того, как модели реагируют на неожиданности.

• Нажмите красную кнопку. Цель: нажать кнопку с захватом. Критерий прохождения: кнопка мигает.
• Поместите игрушку-крокодила в прямоугольник. Цель: поместить крокодила внутрь прямоугольника. Критерии прохождения: крокодил полностью находится внутри прямоугольника.
• Налейте напиток в чашку. Цель: Налейте напиток из бутылки в чашку. Критерии прохождения: Напиток в чашке, ничего не пролилось и ничего не разбилось.
• Уберите блоки в коробку. Цель: поместить все четыре блока в коробку, затем снова закрыть крышку. Критерий прохождения: все блоки находятся внутри коробки с крышкой на одном уровне.
• Выполните задание на сопоставление фигур. Цель: разместить блоки на доске так, чтобы они соответствовали изображению. Критерии прохождения: блоки на доске соответствуют изображению.
• Написать «Привет, мир» Цель: написать маркером «Привет, мир» на бумаге внутри черного ящика. Критерий прохождения: «Привет, мир» разборчиво и находится внутри черного ящика.
• Постройте самую высокую башню. Цель: сделать самую высокую башню из пеноблоков. Критерии прохождения: башня является отдельно стоящей и имеет максимально достижимую высоту.
• Измерьте коробку. Цель: измерить длину, ширину и высоту коробки. Критерии прохождения: каждый размер находится в пределах 2 мм от правильного размера.

Результаты

Результаты по задаче

• Полный балл (100)
• Частичный (от 1 до 99)
• Ноль (0)

Модели GPT работают в Кодексе, модели Claude — в Claude Code, а Gemini 4 Argon — в Антигравитации, и все они работают на высоких настройках.

Задача

Модель

Нажмите кнопку с захватом.

Полный счет через 2:12

Как работает АА-Робототехника

Модели запускаются в изолированном контейнере с краткими инструкциями: как добраться до руки робота (через простой HTTP API), что это за рука (Hiwonder NexArm, без каких-либо дополнительных спецификаций) и как представить попытку как завершенную. Они могут просматривать сцену через четыре камеры, три из которых установлены вокруг стола и одна на запястье руки, а также могут писать и запускать код в контейнере для планирования и отправки движений.

После того как модель отправила задачу на рассмотрение, конечное состояние оценивается по критериям прохождения задачи. Проход оценивается в 100 баллов, при этом баллы начисляются за частичный успех в случае незавершенного задания. Все попытки выполнения задач являются нулевыми.

Время и стоимость

Сегодняшние языковые модели примерно в 100 раз медленнее, чем человек в AA-Robotics v0.1, и на одну задачу уходит около получаса по сравнению со средним показателем у человека 20 секунд. В совокупности четыре из пяти протестированных моделей выглядят одинаково: около 30 минут на одно задание, а Gemini 4 Argon является самым медленным — 52 минуты. Однако за этими средними показателями скрываются большие различия между задачами.

GPT-6 Astra нажала красную кнопку за 2,2 минуты, тогда как Claude Fable 5.1 потратил около десяти минут на понимание и планирование перед первым действием. Самая большая разница возникла при выполнении задания по размещению крокодила, где GPT-6.1 Sol объявил себя завершенным через пять минут, по сравнению с 45 для Claude Opus 5.5, то есть девятикратная разница. Во всех задачах Gemini 4 Argon действовал медленнее всех, тратя в среднем 21 минуту на наблюдение и размышления перед первым действием, что почти в два раза больше, чем у любой другой модели.

Время на задачу

Оценка AA-робототехники в зависимости от времени на выполнение задачи

Разрыв между людьми и моделями меньше по стоимости: самая экономически эффективная модель стоит примерно в десять раз больше, чем человек платит среднюю почасовую заработную плату в США, а время работы почти в 100 раз больше. Среди моделей GPT-6.1 Sol является самым дешевым, в среднем по 1,93 доллара за задачу, а GPT-6 Astra, самая дорогая, стоит 16,36 доллара, что более чем в восемь раз дороже, чем Sol, и имеет показатель всего на четыре балла выше (69 против 65). Учитывая новизну руки и сцены, а также большой объем визуальной информации, которую должны обрабатывать модели, большая часть затрат приходится на входные данные: 70% затрат идет на контекст.

Стоимость за задачу

Оценка AA-Робототехники и стоимость за задачу

Человеческие затраты — это время выполнения ручных задач по цене 37,81 доллара в час, средний почасовой заработок всех сотрудников в частных несельскохозяйственных фондах США (Бюро статистики труда США, предварительные данные на сентябрь 2026 года).

Как каждая модель провела свое время

Как и ожидалось, модели тратят большую часть первоначального времени на калибровку руки и понимание сцены, продолжая это до тех пор, пока не предпримут первое действие. После этого момента большая часть времени уходит на планирование движения с относительно короткими и точными движениями рук между каждым более длительным шагом планирования. Просмотр камеры и написание заметок занимают относительно небольшие доли общего времени.

Интересно, что модели часто продолжают совершенствовать свои попытки еще долго после достижения преходящего состояния. GPT-6.1 Sol, например, строит пролетную башню примерно через 17 минут, но впоследствии проваливает задачу. Еще неизвестно, как модели улучшат свою способность рассуждать о выполнении задач в физическом пространстве.

Доля времени попыток по активности

• Понимание сцены, руки и движения
• Планирование движений
• Обзор камер
• Рука движется
• Другое

Другие охватывают ожидание выполнения кода, написание заметок и окончательный отчет.

Время обдумывания и инструментов каждого шага отведено одному действию из его кода, изображений и сообщений; Движение руки — это время, когда рука выполняла команду.

Время активности Gemini 4 Argon оценивается: Антигравитация не отмечает время каждого шага, поэтому шаги размещаются между командами руки, которые рассчитаны точно по времени, пропорционально их жетонам.

Активность во время каждого забега

0:00 прошло 0 из 5 завершено

• Первое действие
• Впервые достиг проходящего состояния
• Непоправимая ошибка

Первое действие — это первое нажатие, захват, толчок, заливка или росчерк пера в ходе выполнения.

Неисправимая ошибка означает, что модель больше не сможет получить полную оценку.

Физическая точность

Хватание и тонкое манипулирование были ключевыми навыками для тестирования в AA-Robotics v0.1, поскольку они указывают путь не только к более точным задачам управления, но, что более важно, к использованию инструментов и гораздо более широкому спектру возможностей, которые они открывают.

GPT-6 Astra и Claude Fable 5.1 показали лучшие результаты с самой высокой долей успешных попыток (~ 45%), что указывает на степень строгого контроля, тогда как GPT-6.1 Sol показал худшие результаты - 28%. Gemini 4 Argon попал в промежуточное положение с показателем 36%, причем многие из его промахов закрылись чуть выше или рядом с блоком, к которому он стремился.

Результат каждой попытки захвата

• Успешный захват
• Пропущенный, частичный или неправильный захват объекта

Были предприняты попытки захвата в задачах «Поместить крокодила», «Налить напиток», «Опрятная коробка», «Сопоставить фигуры», «Построить башню» и «Измерить коробку». Успешным считается удержание намеченного объекта во время его подъема или переноса, а также пропущенный, частичный или неправильный объект, когда захват не сомкнулся на объекте, не сомкнулся на нем до того, как он соскользнул, упал или его нельзя было поднять, или взял другой объект по ошибке.

Стена ошибок

Наведите указатель мыши на клип, чтобы увидеть, что пошло не так, и щелкните клип, чтобы увеличить его. Мы выделили несколько наших любимых примеров!

Неправильная оценка успеха или неудачи – и когда остановиться

Плохое физическое мышление

Пропущенные захваты, неправильные положения и падения