Обновление DeepSeek R1: рассуждения, производительность и тесты

DeepSeek R1 0528 подскочил с 60 на 68 место в Индексе искусственного анализа интеллекта, нашем индексе из 7 ведущих оценок, которые мы проводим независимо для всех ведущих моделей. Это такое же увеличение, как и разница между o1 и o3 OpenAI (с 62 до 70).

Это делает DeepSeek R1 более интеллектуальным, чем Grok 3 mini (high) от xAI, Llama Nemotron Ultra от NVIDIA, Llama 4 Maverick от Meta, Qwen 3 253 от Alibaba и равным Gemini 2.5 Pro от Google.

DeepSeek R1 набрал 68 баллов в индексе искусственного интеллекта

DeepSeek R1 увеличивает преимущество Китая над США в разведке моделей открытых весов

Расшифровка улучшений R1-0528:

• 🧠 Интеллект увеличивается по всем направлениям: самые большие скачки наблюдаются в AIME 2024 (соревнования по математике, +21 балл), LiveCodeBench (генерация кода, +15 баллов), GPQA Diamond (научное мышление, +10 баллов) и Last Exam человечества (рассуждение и знания, +6 баллов).
• 🏛️ Без изменений в архитектуре: R1-0528 — это обновление после обучения без изменений в архитектуре V3/R1 — она остается большой моделью 671B с 37B активными параметрами.
• 🧑‍💻 Значительный скачок в навыках кодирования: R1 теперь соответствует Gemini 2.5 Pro в индексе кодирования искусственного анализа и уступает только o4-mini (высокий) и o3
• 🗣️ Увеличение использования токенов: R1-0528 использовал 99 миллионов токенов для завершения оценок в индексе искусственного анализа интеллекта, что на 40% больше, чем 71 миллион токенов исходного R1, т.е. новый R1 думает дольше, чем оригинальный R1. Это все еще не самый высокий показатель использования токенов, который мы видели: Gemini 2.5 Pro использует на 30% больше токенов, чем R1-0528.

DeepSeek R1-0528-Qwen3-8B

Одновременно с запуском R1-0528 компания DeepSeek выпустила усовершенствованную модель 8B, целью которой является воплощение расширенных возможностей рассуждения из их флагманской модели R1 в меньшие по размеру и более доступные модели для развертывания на устройстве. R1-0528-Qwen3-8B был обучен на примерах цепочки рассуждений из полноразмерного R1-0528.

DeepSeek R1-0528-Qwen3-8B получил 52 балла по индексу искусственного интеллекта.

DeepSeek R1-0528-Qwen3-8B получил 52 балла в индексе искусственного анализа интеллекта.

Расшифровка DeepSeek-R1-0528-Qwen3-8B:

• 🧠 Интеллект, аналогичный Qwen3 8B: новый вариант DeepSeek соответствует интеллекту Qwen3 8B (Рассуждение), постобученной версии той же базовой модели от Alibaba — он набирает на один балл выше в Индексе интеллекта искусственного анализа, но это вряд ли приведет к заметным преимуществам при использовании в реальном мире. В отличие от гибридного подхода Alibaba к серии Qwen3, модель DeepSeek не поддерживает контроль времени вывода о том, является ли модель обоснованной.
• 📈 Огромный скачок по сравнению с дистиллированными моделями DeepSeek R1 (январь): эта дистиллированная версия обеспечивает эквивалентный интеллект оригинальной дистиллированной версии R1 Qwen2.5 32B — это означает, что всего за 5 месяцев теперь есть модель 8B, работающая так же хорошо, как дистиллированная Qwen2.5 32B в январе.

DeepSeek R1-0528-Qwen3-8B — ведущая модель в категории 8В.

API-интерфейсы DeepSeek R1-0528

Сейчас мы отслеживаем 14 API для новой модели DeepSeek R1, включая собственный API DeepSeek и предложения от Azure, Fireworks, SambaNova, Lambda Labs, Nebius, Deepinfra, Parasail, Hyperbolic, CentML, Together AI, Novita, GMI Cloud и kluster.ai.

Основная информация из нашего сравнительного анализа

• ➤ Самая высокая скорость вывода наблюдается в Fireworks (~258 токенов/с), SambaNova (~132 токенов/с) и Azure (~100 токенов/с).
• ➤ Мы видим лучшие цены на DeepInfra (0,5/2,15 доллара США за миллион токенов ввода/вывода), внимательно следим за Lambda Labs (0,5 доллара США/2,18 доллара США) и собственным собственным API DeepSeek (0,55 доллара США/2,19 доллара США).
• ➤ Мы видим, что большинство провайдеров предлагают контекстное окно размером 164 КБ. Поставщики, предлагающие это максимальное контекстное окно, включают: Lambda Labs, Nebius, Parasail, Hyperbolic, Fireworks Fast, Deepinfra и kluster.ai. Собственный API DeepSeek поддерживает только контекстное окно размером 64 КБ.

DeepSeek R1 — особенно сложная в размещении модель по сравнению с большинством других моделей с открытыми весами, поскольку она настолько велика — при общих параметрах 671B она не может поместиться на одном узле 8xH100 с исходной точностью FP8.

Скорость и цена для провайдеров R1-0528

Время сквозного ответа для провайдеров R1-0528

Выводы об ИИ

• 👑 Разрыв между открытыми и закрытыми моделями меньше, чем когда-либо: модели с открытыми весами продолжают поддерживать прирост интеллекта на одном уровне с проприетарными моделями. Выпуск DeepSeek R1 в январе был первым случаем, когда модель с открытым весом достигла второй позиции, а сегодняшнее обновление DeepSeek R1 возвращает ее на ту же позицию.
• 🇨🇳 Китай остается плечом к плечу с США: модели из китайских лабораторий искусственного интеллекта почти полностью догнали своих американских аналогов, этот выпуск продолжает наметившуюся тенденцию. На сегодняшний день DeepSeek возглавляет американские лаборатории искусственного интеллекта, включая Anthropic и Meta в индексе искусственного анализа интеллекта.
• 🔊 Улучшения, обусловленные обучением с подкреплением: DeepSeek продемонстрировал существенные улучшения интеллекта с той же архитектурой и предварительной тренировкой, что и их первоначальная версия DeepSeek R1. Это подчеркивает постоянно растущую важность постобучения, особенно для моделей рассуждения, обученных с помощью методов обучения с подкреплением (RL). OpenAI сообщила о 10-кратном масштабировании вычислений RL между o1 и o3 — DeepSeek только что продемонстрировал, что на данный момент они могут идти в ногу с масштабированием вычислений RL OpenAI. Масштабирование RL требует меньше вычислений, чем масштабирование предварительного обучения, и предлагает эффективный способ достижения интеллектуальных результатов, поддерживая лаборатории искусственного интеллекта с меньшим количеством графических процессоров.