GPT-6.1 Sol сменяет GPT-6 Sol всего за 7 дней с интеллектом уровня Astra

GPT-6.1 Sol заменяет GPT-6 Sol всего через 7 дней. В индексе интеллекта он на 1 балл ниже GPT-6 Astra при стоимости менее одной четверти от стоимости задачи.

Цены соответствуют GPT-6 Sol и составляют 2/10 долларов США за миллион токенов ввода/вывода, за исключением того, что скидка на чтение кэша увеличивается с 90% до 95%. Таким образом, общая смешанная цена GPT-6.1 Sol для агентских рабочих нагрузок немного ниже, чем GPT-6 Sol. Это представляет собой дополнительное снижение цен после первоначальной 50% скидки GPT-6 Sol по сравнению с GPT-5.6 Sol.

Ключевые выводы

➤ Достигает интеллекта, близкого к Astra: GPT-6.1 Sol получает 4 очка в индексе интеллекта по сравнению с GPT-6 Sol и 5 очков по сравнению с GPT-5.6 Sol, оказываясь на 1 балл ниже GPT-6 Astra. Он делает значительные успехи в агентской информационной работе, улучшая 4 балла и 5 баллов в AA-Портфеле v1.1 и GDPval-AA v2.1 соответственно. Другие заметные достижения включают скачок на 12 баллов в Terminal-Bench 4.0, скачок на 5 баллов в «Последнем экзамене человечества», скачок на 6 баллов в GDP.pdf и скачок на 8 баллов в точности всеведения АА в сочетании со снижением уровня галлюцинаций с 60% до 54%.

➤ Раздвигает границы экономической эффективности: при максимальных усилиях GPT-6.1 Sol стоит менее четверти GPT-6 Astra за задачу индекса интеллекта (0,72 доллара США против 3,26 доллара США). Он также стоит на 31% меньше за задачу, чем GPT-6 Sol (1,05 доллара США) и на 64% меньше, чем GPT-5,6 Sol (1,99 доллара США). Все уровни усилий GPT-6.1 Sol выходят за рамки экономической эффективности по Парето: для данного уровня интеллекта не существует более дешевой модели.

➤ Увеличивает эффективность токенов, но использует немного больше выходных токенов, чем GPT-6 Sol: GPT-6.1 Sol использует примерно на 10–30% больше выходных токенов, чем GPT-6 Sol, на всех уровнях усилий. Однако из-за увеличения показателя индекса интеллекта его низкие и средние уровни усилий являются оптимальными по Парето для эффективности токена.

➤ Прирост индекса кодирующего агента: GPT-6.1 Sol получает 3 балла по сравнению с GPT-6 Sol при максимальных усилиях в индексе кодирующего агента искусственного анализа и находится на 2 балла ниже GPT-6 Astra.

Индекс кодирующего агента

GPT-6.1 Sol доминирует в нижнем ценовом диапазоне границы Парето для индекса кодирующего агента искусственного анализа и стоимости за задачу. GPT-6.1 Sol (xhigh) набирает на 1 балл больше GPT-6 Astra при стоимости менее 15 % от стоимости задачи. Это представляет собой прирост в 6 пунктов по сравнению с GPT-6 Sol (макс.). Мы заметили, что настройка «высокое усилие» превосходит настройку «максимальное усилие» на 3 балла.

Эффективность токена

GPT-6.1 Sol использует на 10–30% больше токенов вывода, чем GPT-6 Sol, в зависимости от настроек усилий в индексе интеллекта. Однако из-за увеличения интеллекта его настройки с низким и средним усилием являются оптимальными по Парето для эффективности токенов.

АА-Всеведение

При максимальном усилии GPT-6.1 Sol поднимается на 8 пунктов в точности АА-Всеведение в сочетании со снижением на 6 пунктов частоты галлюцинаций.

AA-Портфель

GPT-6.1 Sol улучшается на ~80 Эло в AA-Портфеле. Это обусловлено увеличением рейтинга его рубрики и рейтинга аналитического качества Elo, в то время как рейтинг презентации несколько снижается.

Результаты по оценке

Разбивка отдельных оценок в индексе искусственного анализа интеллекта v4.3.2.