Анализ открытых моделей OpenAI: тесты и перспективы

Независимые тесты моделей gpt-oss OpenAI: gpt-oss-120b — самая интеллектуальная американская модель с открытыми весами, уступает DeepSeek R1 и Qwen3 235B по интеллекту, но предлагает преимущества в эффективности.

OpenAI выпустила две версии gpt-oss

• gpt-oss-120b (всего 117 миллиардов параметров, 5,1 миллиарда активных параметров): индекс интеллекта 58.
• gpt-oss-20b (всего 20,9 млрд параметров, 3,6 млрд активных параметров): индекс интеллекта 48.

Размер и развертывание

OpenAI выпустила обе модели с точностью MXFP4: gpt-oss-120b имеет объем всего 60,8 ГБ, а gpt-oss-20b — всего 12,8 ГБ. Это означает, что 120B может работать с исходной точностью на одном NVIDIA H100, а 20B можно легко запустить на потребительском графическом процессоре или ноутбуке с > 16 ГБ оперативной памяти. Кроме того, относительно небольшая доля активных параметров будет способствовать их эффективности и скорости вывода: 5,1B активных параметров модели 120B можно противопоставить общим 109B параметрам Llama 4 Scout и активным 17B (намного менее редким). Это позволяет получать десятки токенов вывода для 20B на последних MacBook.

Интеллект

Обе модели получили очень хорошие оценки за свой размер и разреженность. Мы видим, что 120B превосходит o3-mini, но уступает o4-mini и o3. 120B — самая интеллектуальная модель, которую можно запустить на одном H100, а 20B — самая интеллектуальная модель, которую можно запустить на потребительском графическом процессоре. Обе модели, по-видимому, занимают одинаковое место в большинстве наших оценок, что не указывает на какие-либо конкретные слабые места.

Сравнение с другими моделями с открытыми весами

Хотя более крупный gpt-oss-120b не превосходит DeepSeek R1 0528 (59 баллов) или Qwen3 235B 2507s (64 балла), примечательно, что он значительно меньше как по общим, так и по активным параметрам, чем обе эти модели. DeepSeek R1 имеет 671 байт общих параметров и 37 байт активных параметров и изначально выпущен с точностью FP8, что делает его общий размер файла (и требования к памяти) более чем в 10 раз больше, чем у gpt-oss-120b. И gpt-oss-120b, и 20b являются только текстовыми моделями (аналогично конкурирующим моделям от DeepSeek, Alibaba и других).

Архитектура

Архитектура МО выглядит довольно стандартной. Маршрутизатор MoE выбирает четырех лучших экспертов для каждого поколения токенов. Модель 120B имеет 36 слоев, а модель 20B — 24 слоя. Каждый уровень имеет 64 головки запроса, использует внимание к групповым запросам с 8 головками KV. Вращающиеся встраивания и YaRN используются для расширения контекстного окна до 128 КБ. Модель 120B активирует 4,4% от общего числа параметров за один прямой проход, тогда как модель 20B активирует 17,2% от общего числа параметров. Это может указывать на то, что с точки зрения OpenAI более высокая степень разреженности оптимальна для более крупных моделей. Широко распространено мнение, что большинство лучших моделей из пограничных лабораторий были редкими MoE для большинства выпусков, начиная с GPT-4.

Поставщики API

Ряд поставщиков логических выводов поспешили запустить конечные точки. В настоящее время мы тестируем Groq, Cerebras, Fireworks и TogetherAI в области искусственного анализа и будем добавлять новых поставщиков по мере запуска конечных точек.

Цены

Мы отслеживаем медианную цену среди поставщиков API: 0,15/0,69 доллара США за миллион токенов ввода/вывода для 120B и 0,08/0,35 доллара США для 20B. Эти цены делают 120B почти в 10 раз дешевле, чем собственные API OpenAI для o4-mini (1,1 доллара США/4,4 доллара США) и o3 (2 доллара США/8 долларов США).

Лицензия

Лицензия Apache 2.0 — очень разрешающая!

Диаграммы анализа

Ниже представлен подробный анализ с подробными диаграммами

Индекс интеллекта искусственного анализа

Интеллект против активных параметров

Интеллект против общих параметров: gpt-oss-120B — самая интеллектуальная модель, которая может поместиться на одном графическом процессоре H100 с исходной точностью.

Интеллект против общих параметров

Цены: среди поставщиков API, которые запустили покрытие API с первого дня, мы видим средние цены в размере 0,15/0,69 доллара США за миллион токенов ввода/вывода для 120B и 0,08/0,35 доллара США для 20B. Это делает обе модели gpt-oss очень экономичными вариантами для разработчиков.

Интеллект против цены

Использование выходных токенов: по сравнению с другими моделями рассуждения обе модели достаточно эффективны даже в своих «высоких» режимах рассуждения, особенно gpt-oss-120b, который использовал только 21 миллион токенов для запуска наших тестов индекса искусственного анализа интеллекта. Это 1/4 токенов o4-mini (high), которые потребовались для выполнения тех же тестов, 1/2 o3 и меньше, чем у Kimi K2 (нерассуждающая модель).

Используемые выходные токены

Интеллект против используемых токенов вывода

Стоимость запуска индекса интеллекта

Результаты индивидуальной оценки

Результаты индивидуальной оценки на основе тестов, которые мы провели независимо

Оценки разведки

gpt-oss-120b в настоящее время является ведущей моделью для открытых весов в США. Qwen3 235B от Alibaba является ведущей китайской моделью и предлагает больший интеллект, но гораздо больше по размеру (всего 235B параметров, 22B активных по сравнению с общим количеством 117B у gpt-oss-120B, активным 5B).

Анализ модели открытых весов по странам

См. «Искусственный анализ» для дальнейшего анализа.