Итоги Google I/O: замеры и бенчмарки новых моделей Gemini
Сводный отчёт по результатам тестирования обновлённых линеек Flash и Pro, показанных на конференции Google.
Обновлено 8 июня 2025 г., чтобы отразить обновление Gemini 2.5 Pro через неделю после ввода-вывода.
Языковые модели: обновленный Gemini 2.5 Pro от Google теперь лидирует в области искусственного интеллекта, сравнявшись с o3 OpenAI в наших независимых тестах.
Майское обновление Gemini 2.5 Pro от Google ухудшилось в некоторых оценках производительности по сравнению с первоначальным мартовским выпуском. Это июньское обновление не только исправляет предыдущие регрессии, но и обеспечивает значительные улучшения в наших независимых тестах.
Основные моменты
- Позиция №1 по оценкам: Gemini 2.5 Pro (июнь) теперь лидирует по ряду оценок, включая MMLU-Pro (86%), GPQA Diamond (84%), Humanity's Last Exam (21%)
- Лидирующая производительность кодирования: 80% на LiveCodeBench, соответствует o4-mini (высокий)
- Переменный бюджет рассуждений: пользователи могут варьировать максимальное количество токенов вывода, которые можно использовать для «мышления», выделяя больше жетонов по мере необходимости для более сложных задач.
Gemini 2.5 Pro (июнь) лидирует по ряду оценок
Google приближается к OpenAI на границе языковой модели
Google также выпустила сегодня на I/O обновленную версию Gemini 2.5 Flash. В режиме рассуждения интеллект модели превышает Qwen3 235B-A22B, а в режиме без рассуждений он теперь эквивалентен GPT-4.1 и DeepSeek V3.
Мы начали тестирование видеовозможностей Veo 3 и опубликуем результаты в ближайшие несколько дней!
Модели изображений: новый Imagen 4 Ultra от Google занимает третье место на арене изображений для искусственного анализа, уступая лишь GPT-4o от OpenAI и Seedream 3.0 от ByteDance.
После нескольких дней пребывания на арене изображений для искусственного анализа Imagen 4 Ultra выглядит заметным, но небольшим обновлением по сравнению с Imagen 3, в то время как Imagen 4 Base по качеству похож на Imagen 3.
И Imagen 4 Preview, и Ultra Experimental доступны разработчикам в Vertex AI Studio, цены не публикуются. Сторонний поставщик @fal также размещает Imagen 4 Preview по цене 0,05 доллара США за изображение (они также размещают Imagen 3 по цене 0,05 доллара США за изображение). Для сравнения, GPT-4o стоит ~0,17 доллара за образ, а Recraft V3 — ~0,04 доллара за образ.
Imagen 4 также доступен через
- Новый демо-сайт под названием Whisk
- Потребительское приложение Gemini — хотя мы отмечаем, что внутри приложения Gemini не ясно, изображения каких моделей были созданы.
Imagen 4 Ultra Experimental и Preview немного превосходят предшественника Imagen 3.
Примеры поколений в моделях Imagen
