GPT-6 Sol и Luna: новые рубежи ценовой эффективности от OpenAI
Линейки Sol и Luna кардинально снижают стоимость решения сложных задач на токен по сравнению с предыдущими поколениями.
Цена примерно вдвое ниже, чем у GPT-5.6: Sol снижается с 4/20 долларов США до 2/10 долларов США за миллион токенов ввода/вывода, а Luna — с 0,20 доллара США/1,20 доллара США до 0,10 доллара США/0,50 доллара США, с той же скидкой 90 % на чтение кэша и надбавкой 25 % за запись в кэш.
Ключевые выводы
➤ Снижает вдвое стоимость задачи: GPT-6 Sol (макс.) стоит 1,06 доллара США за задачу для запуска индекса искусственного анализа интеллекта, что примерно на 50 % меньше, чем GPT-5,6 Sol (макс.) за 1,99 доллара США. GPT-6 Luna (максимум) стоит 0,07 доллара США за задачу, что примерно на 60 % меньше, чем GPT-5,6 Luna (максимум) за 0,18 доллара США. Это обусловлено снижением цен, поскольку обе модели используют немного больше токенов вывода на задачу (31 тыс. против 29 тыс. для Sol и 51 тыс. против 41 тыс. для Luna). Эти две версии позволяют OpenAI охватить значительную часть границы Парето экономической эффективности.
➤ В Индексе кодирующего агента Sol улучшается, но Луна регрессирует: в системе Кодекса OpenAI GPT-6 Sol (макс.) набирает 57 баллов в Индексе кодирующего агента искусственного анализа, что на 2 балла выше, чем GPT-5.6 Sol (макс.), с приростом в Terminal-Bench 4.0 (43% против 37%) и SWE-Atlas-QnA (58% против 54%). При цене 2,99 доллара за задачу он стоит примерно на 50 % меньше, чем GPT-5,6 Sol (максимум), и находится на границе Парето индекса кодирующего агента и стоимости за задачу. GPT-6 Luna (макс.) набирает 41 балл, что на 2 балла ниже, чем GPT-5.6 Luna (макс.), с более низкими оценками в SWE-Atlas-QnA (44% против 49%) и DeepSWE v1.1 (64% против 66%), при этом стоимость задачи за задачу снижается примерно на 60%.
➤ Значительное снижение галлюцинаций: обе модели меньше галлюцинируют в рамках Всеведения АА, нашего эталона знаний и галлюцинаций. GPT-6 Sol (макс.) снижает уровень галлюцинаций с 92% до 60%, а GPT-6 Luna (макс.) с 93% до 77%. Sol достигает этого, отказываясь отвечать чаще: он пытается ответить на 83% вопросов по сравнению с 99% для GPT-5.6 Sol (максимум), что сокращает количество неправильных ответов примерно на четверть, но также снижает точность на 5 пунктов с 59% до 54%. Точность Луны в целом не изменилась и составила 44% против 43%, хотя она отвечает на меньшее количество вопросов. По Индексу всеведения АА Сол улучшается с 22 до 27, а Луна с -10 до 1.
➤ Сочетание улучшений и регрессов в ходе оценок: помимо AA-Omniscience, обе модели улучшаются в AutomationBench-AA (Sol 62% против 60%, Luna 53% против 50%) и Terminal-Bench 4.0 (Sol 44% против 40%, Luna 13% против 12%). Однако мы наблюдаем регрессию в двух ключевых оценках умственной работы. В GDPval-AA v2.1, нашем тесте, адаптированном на основе набора данных OpenAI по экономически ценным задачам по 44 профессиям, Сол теряет ~100 баллов Эло, а Луна ~75. Луна также теряет ~45 очков Эло в AA-Портфеле v1.1, в то время как Сол остается на уровне. AA-Briefcase v1.1 — это частная оценка многонедельных информационных проектов с тысячами входных файлов. Наша команда вручную проверила сотни результатов моделей: регрессии, как правило, вызваны снижением качества презентаций и результатами, в которых отсутствуют элементы рубрик.
GPT-6 Sol (макс.) получает 2 балла в индексе кодирующего агента искусственного анализа при вдвое меньшей стоимости за задачу, чем его предшественник, а GPT-6 Luna (макс.) снижается на 2 балла.
GPT-6 Сол и Луна при максимальных усилиях галлюцинируют меньше, чем их предшественники.
Обе модели регрессируют в GDPval-AA v2.1 при максимальных усилиях, что обусловлено более короткими результатами, которые чаще пропускают обязательные элементы.
Разбивка отдельных оценок в Индексе искусственного интеллекта v4.3
