Анонс AA-3D: бенчмарк для ИИ-моделей создания интерактивного 3D

AA-3D измеряет, насколько хорошо модели ИИ создают интерактивные 3D-сцены, которые люди хотят исследовать. Каждая модель работает как агент в автономной песочнице и превращает письменный бриф в веб-страницу на Three.js. Наша набранная группа сравнивает пары сцен, созданных из одного и того же задания, не зная, какая модель что создала, и ранжирует модели по Эло. Claude Sonnet 5.5 занимает первое место с номером 1194, статистически делясь с тремя другими моделями Anthropic и OpenAI.

АА-3Д Эло

У Клода Сонета 5.5 самый высокий Эло, 1194, но четверка лучших статистически связаны: их 95% доверительные интервалы совпадают с интервалами Клода Сонета 5.5.

Все четыре созданы Anthropic и OpenAI. Muse Spark 1.3 от Meta занимает седьмое место с весом 1035. Модели с открытыми весами, занявшие лучшие места, Kimi K3 (982) и MiMo-V2.6-Pro (977), занимают 11-е и 12-е места, отставая более чем на 200 очков.

Актуальные результаты см.

Попробуйте сами

Как работает АА-3D

Каждая модель работает как агент в автономной песочнице. Он получает письменное описание одной интерактивной сцены, а также контракт на поставку, который разделяет каждую задачу. Он пишет код, визуализирует сцену, просматривает собственные скриншоты и вносит правки. В песочнице есть Blender, физика Rapier, Python, безголовый браузер и библиотека ресурсов CC0. Прогон останавливается через три часа или 250 поворотов, и результатом является страница index.html, на которой сцена запускается в браузере.

Посмотрите, как строится сцена

• GPT-6 Astra открывает свою первую полную страницу через 6 минут. Он заканчивается на 68 минуте. Клод Сонет 5.5 ничего не показывает до 42 минуты и продолжает работать до 2 часов 58 минут.
• Claude Sonnet 5.5 записывает в 6,2 раза больше выходных токенов, чем GPT-6 Astra, но стоит всего в 1,3 раза дороже. Его пробег стоит 14,93 доллара против 11,62 доллара, а его прейскурантная цена составляет пятую часть цены GPT-6 Astra.

Исследуйте сцены

Выберите домен, задачу и модель, чтобы загрузить сцену, построенную этой моделью.

Задача

Модель

Создайте интерактивного взрослого мужчину, выполняющего упражнения по тяжелой атлетике, с видами, демонстрирующими его мышцы, скелет и органы в анатомически точной форме.

У 21 модели из 21 есть сцена для этого задания в слепом голосовании.

Стоимость сцены АА-3D

Стоимость AA-3D за сцену

Inkling не показан, поскольку у нас нет репрезентативной частоты попаданий в кэш.

AA-3D Elo против стоимости за сцену

Что AA-3D говорит нам о строительстве в 3D

Топ-модели рано смотрят на свои работы

Пятерка лучших впервые смотрит на изображение своей собственной сцены в среднем после 10–13 поворотов, а к 20-му ходу — как минимум в 89% своих сцен. Модели, занявшие места с 14 по 20, ждут, пока ход с 15 по 40. Среди 19 моделей, которые могут просматривать изображения, внимательно просматривают ранние треки Эло (Spearman 0,82). Пятерка лучших также начинает тестировать в браузере раньше: в среднем 16 против 25. То, как часто модель выглядит, имеет меньшее значение, чем когда. MiniMax-M3 просматривает свою собственную сцену 54 раза за сцену, больше, чем любая другая модель, но к 20 ходу только в 7% сцен. Он занимает 19-е место.

AA-3D Elo против раннего визуального осмотра

На диаграмме показаны 19 моделей с инструментом просмотра изображений. GLM-5.3 и Nemotron 3 Ultra работают только с текстом и создают свои сцены, не видя их.

Детализированные сцены получают больше голосов, и их создают более сильные модели.

Самая детализированная пятая часть сцен в каждом задании имеет скриншоты вдвое большего размера (168 КБ против 84 КБ) и треть пустые (22% против 60%). Он набирает 63% голосов против 31% у наименее детализированной пятой партии. Только Elo моделей предсказывает 61% и 33%, поэтому детальные сцены в основном исходят от более сильных моделей. Эти данные не могут показать, являются ли детали частью того, что делает эти модели сильными. В пределах одной модели эффект невелик: сцена, более детальная на одно стандартное отклонение, чем другие сцены модели, получает примерно на 1,5 балла больше голосов (от 1,3 до 1,8, в зависимости от меры детализации). Из 86 измерений сцены 11 проходов коррекции: измерения детализации, разрешение рендеринга и сглаживания, время графического процессора на кадр и количество элементов страницы. Ни один из них не переместит голоса более чем на 4 пункта.

Голосование за AA-3D, выигранное за детализацию сцены

Детализация объединяет четыре показателя скриншотов, определенные в разделе «Что измеряет детализация». В рамках той же модели и задачи увеличение детализации на одно стандартное отклонение добавляет 1,5 балла (p = 0,001, q = 0,011). 1008 сцен, не считая 23, которые прерываются на странице голосования.

Модели OpenAI GPT-6 создают более качественные 3D-сцены, чем предсказывает их общий интеллект

Общий интеллект имеет большое значение в AA-3D. Каждый балл индекса интеллекта искусственного анализа оценивается примерно в 18 Эло (Пирсон 0,92), что ближе, чем у Terminal-Bench 4.0 (0,81) или SciCode (0,76). GPT-6 Luna и GPT-6 Sol превосходят эту тенденцию больше, чем любая другая модель, на 141 и 93 Эло, а GPT-6 Astra опережает ее на 46. GLM-5.3 отстает дальше всех, на 197. Он не может просматривать изображения, что может частично объяснить разрыв: GLM-5.3-Flash от Z AI, который может, набирает на 149 баллов выше с более низким индексом интеллекта. Nemotron 3 Ultra, также только текстовый, находится в тренде.

AA-3D Эло против индекса интеллекта

Мы используем r Пирсона, когда зависимость линейна по осям диаграммы, и ранговую корреляцию Спирмена, когда одна модель будет доминировать над r или мера принимает только несколько значений. Мы называем корреляцию несущественной, если ее 95% доверительный интервал включает ноль.

Большинство сцен используют библиотеку ресурсов, но ресурсы не набирают голоса.

В трех из четырех сцен используется что-то из библиотеки CC0, как это рекомендуется в общих инструкциях, а модели, которые используют ее чаще, имеют тенденцию иметь более высокий рейтинг (Spearman 0,53). Но сцены библиотеки модели выигрывают не чаще, чем другие ее сцены, если мы учитываем противника. GPT-6 Luna использует библиотеку только в трети своих сцен и по-прежнему занимает восьмое место.

Использование библиотеки ресурсов AA-3D

Подробные результаты

Токены вывода AA-3D на сцену

AA-3D поворотов за сцену

Вызовы инструментов AA-3D на сцену

Мы сортируем каждый вызов инструмента на пять групп по назначению, а затем на подгруппы по командам. Браузерные тесты либо сохраняют скриншот, либо только читают ошибки. Код вызывает запись или исправление файлов, а также чтение файлов и прилагаемой документации Three.js. Вызовы ресурсов просматривают библиотеку CC0, обрабатывают изображения с помощью Python или запускают Blender. Представления изображений показывают собственную работу агента (в основном скриншоты страниц, а также контактные листы и текстуры), предварительный просмотр актива или эталонное изображение из брифа.

AA-3D Elo против элементов управления пользовательского интерфейса

Процент побед AA-3D по доменам

Внутри запуска агента

Выберите задачу, чтобы воспроизвести прогон каждой модели на общих часах. Наведите указатель мыши на полосу, чтобы увидеть каждое действие, и щелкните ее, чтобы увидеть, на что ушло время.

• GPT-6 Sol — самый быстрый из пятерки лучших по всем шести заданиям. Его средняя пробежка занимает 60 минут против 115–151 у остальных четырех.
• Пятерка лучших тестирует не больше, чем остальные. В группе они тратят 25% своего времени на тестирование браузера, примерно столько же, сколько и все остальные.
• Каждая пятерка лучших рассматривает свою собственную сцену. GLM-5.3 и Nemotron 3 Ultra являются только текстовыми, поэтому ни один из их 12 запусков этого не делает.

Что дальше

Мы будем добавлять новые модели по мере их выпуска.

Ресурсы АА-3D

• Содержит полные результаты, обновляемые по мере выпуска новых моделей.
• Попробуйте AA-3D Voting, чтобы самостоятельно сравнить сцены.
• AA-3D работает на Stirrup, нашем агенте с открытым исходным кодом.