GPT-5: бенчмарки интеллекта, задержки и ценовой анализ
Подробный аудит флагмана пятого поколения: сравнение стоимости токенов и качества на широком спектре задач.
OpenAI предоставил нам ранний доступ к GPT-5: наши независимые тесты подтверждают новый максимум интеллекта ИИ. Мы протестировали все четыре уровня рассуждений GPT-5, выявив 23-кратную разницу в использовании токенов и стоимости между вариантами «Высокий» и «Минимальный», а также существенные различия в интеллекте.
Мы независимо провели полный набор из восьми оценок для всех конфигураций рассуждений GPT-5 и сообщаем о результатах тестов по интеллекту, использованию токенов и сквозной задержке.
Что выпустил OpenAI: OpenAI выпустила единую конечную точку для GPT-5, но разные рассуждения предлагают совершенно разную информацию. GPT-5 с усилием рассуждения «Высокий» достигает нового уровня интеллекта, а «Минимальный» приближается к уровню GPT-4.1 (но более символически эффективен).
Выводы из наших независимых тестов
⚙️ Конфигурация усилий по рассуждению: GPT-5 предлагает четыре конфигурации усилий по рассуждению: высокая, средняя, низкая и минимальная. Варианты рассуждения заставляют модель «думать» более или менее усердно для каждого запроса, что приводит к большим различиям в интеллекте, использовании токенов, скорости и стоимости.
🧠 Достигнутый уровень интеллекта варьируется от передового до уровня GPT-4.1: GPT-5 устанавливает новый стандарт с оценкой 68 в нашем индексе интеллекта искусственного анализа (MMLU-Pro, GPQA Diamond, Humanity's Last Exam, LiveCodeBench, SciCode, AIME, IFBench и AA-LCR) при высоких усилиях по рассуждению. Средний (67) близок к o3, низкий (64) находится между DeepSeek R1 и o3, а минимальный (44) близок к GPT-4.1. Хотя High устанавливает новый стандарт, увеличение значения o3 не сравнимо с переходом от GPT-3 к GPT-4 или от GPT-4o к o1.
💬 Использование токенов варьируется в 23 раза в зависимости от попытки рассуждения: GPT-5 с высокой степенью рассуждения использовал больше токенов, чем o3 (82 млн против 50 млн) для завершения нашего индекса, но все же меньше, чем Gemini 2.5 Pro (98 млн) и DeepSeek R1 0528 (99 млн). Однако при минимальном рассуждении использовалось только 3,5 млн токенов, что существенно меньше, чем у GPT-4.1, что делает GPT-5 Minimal значительно более эффективным с использованием токенов для аналогичного интеллекта.
📖 Рассуждение в длинном контексте. Ранее на этой неделе мы выпустили собственный тест рассуждения в длинном контексте (AA-LCR), чтобы протестировать возможности рассуждения моделей в последовательностях большой длины (всего наборы документов ~ 100 тыс. токенов, измеренные с помощью токенизатора cl100k_base). GPT-5 выделяется своей производительностью в AA-LCR, при этом GPT-5 как в высоких, так и в средних усилиях по рассуждению превосходит эталон.
🤖 Агентские возможности: OpenAI также прокомментировала улучшения в возможностях, которые становятся все более важными для использования моделей ИИ, включая агентов (вызов инструментов с длительным горизонтом). Недавно мы добавили IFBench в наш индекс интеллекта, чтобы охватить выполнение инструкций, и будем добавлять дополнительные оценки, чтобы охватить вызовы агентских инструментов для независимого тестирования этих возможностей.
📡 Проверка Vibe: мы проверяем индивидуальность модели с помощью MicroEvals на нашем веб-сайте, который позволяет запускать одно и то же приглашение для разных моделей и сравнивать результаты. Его можно использовать бесплатно, в ближайшее время мы предоставим обновленную информацию с нашей точки зрения, но не стесняйтесь поделиться своей собственной!
Индекс интеллекта искусственного анализа
Использование токенов (подробность): GPT-5 с высокими усилиями по рассуждению использует в 23 раза больше токенов, чем с минимальными усилиями по рассуждению. Хотя при этом достигается существенный прирост интеллекта, между средним и высоким подъем не так велик.
Выходные токены, используемые для запуска индекса интеллекта
Интеллект против используемых токенов вывода
Результаты индивидуальных тестов интеллекта: GPT-5 показывает хорошие результаты по нашим оценкам интеллекта.
Оценки разведки
Производительность рассуждений в длинном контексте. Отличительной чертой является производительность рассуждений в длинном контексте, как показала наша оценка AA-LCR, где GPT-5 занимает позиции №1 и №2.
Тест на рассуждение в длинном контексте искусственного анализа
Дальнейшие тесты искусственного анализа
