Agnes AI выпустила бета-версию Agnes 2.5 Pro
Независимые замеры производительности перспективной мультимодальной модели от Agnes AI.
Agnes AI — это сингапурская лаборатория искусственного интеллекта, которая обучает полномодальные базовые модели и предлагает их через бесплатный омнимодальный API. Agnes 2.5 Pro Beta — это бета-контрольная точка следующего выпуска 2.5 Pro, модели рассуждения для ввода текста, изображений и видео с текстовым выводом.
Имея 49-е место в индексе интеллекта, Agnes 2.5 Pro Beta перемещает Agnes из среднего уровня на приграничный уровень, сразу за Gemini 3.5 Flash (высокий, 52) и GPT-5.6 Luna (макс., 52) и впереди MiniMax-M3 (45).
Ключевые результаты:
➤ Agnes 2.5 Pro Beta набрала 49 баллов по индексу искусственного интеллекта, что на 9 пунктов выше, чем у Agnes 2.5 Pro Alpha (40). Это ставит его сразу после Gemini 3.5 Flash (высокий, 52) и GPT-5.6 Luna (максимум, 52) и впереди MiniMax-M3 (45).
➤ Агентские возможности способствуют прыжку. Агентный индекс искусственного анализа повышается с 25 до 44, отставая от Gemini 3.7 Flash (высокий, 45) и опережая Gemini 3.5 Flash (высокий, 40) и MiniMax-M3 (36). τ³-Банковское дело почти утроится с 12% до 36%, а GDPval-AA v2 вырастет с Elo 1171 до 1456 по сравнению с базовым показателем человека в 1000.
➤ Оценка пограничных рассуждений улучшается более скромно. Последний экзамен человечества повышается с 34% до 38%, GPQA Diamond с 88% до 91% и CritPt с 11% до 16%.
➤ Улучшение Всеведения АА с -25 до -11 происходит за счет воздержания, а не от повышения точности. Agnes 2.5 Pro Beta пытается ответить только на 45% вопросов, тогда как Agnes 2.5 Pro Alpha — 94%, что снижает уровень галлюцинаций с 88% до 33%, но точность AA-Всеведения снижается вдвое с 33% до 17%.
➤ Для получения интеллекта потребовалось примерно в 2 раза больше жетонов, чем у его предшественника. Agnes 2.5 Pro Beta использует 50 тысяч токенов вывода для каждой задачи индекса интеллекта, что более чем в два раза больше, чем в Agnes 2.5 Pro Alpha (24 тысячи).
Дополнительные сведения о модели:
➤ Контекстное окно: токены 1M
➤ Максимальное количество токенов вывода: 65 тыс.
➤ Способы ввода: текст и изображение.
➤ Цена: 0,10 доллара США / 0,30 доллара США / 0,01 доллара США за 1 миллион токенов ввода/вывода/кэша.
➤ Доступность: собственный API Agnes AI.
Наибольшие успехи Agnes 2.5 Pro Beta связаны с агентской работой. Он достигает 44 баллов по агентному индексу искусственного анализа по сравнению с 25 баллами у его предшественника. Он набирает Elo 1456 на GDPval-AA v2 против исходного уровня человека 1000 по сравнению с 1171 для Agnes 2.5 Pro Alpha, опережая MiniMax-M3 (1384) и сразу за GPT-5.5 (xhigh, 1489) и Gemini 3.7 Flash (высокий, 1527).
Показатель AA-Всеведение Агнес 2.5 Pro Beta улучшается с -25 до -11, однако улучшение происходит за счет воздержания, а не от повышения точности. Он ответил только на 45% вопросов по сравнению с 94% для Agnes 2.5 Pro Alpha, и хотя уровень галлюцинаций у него увеличился с 88% до 33%, его точность всеведения АА снизилась вдвое с 33% до 17%.
Agnes 2.5 Pro Beta использует 50 тысяч выходных токенов для каждой задачи индекса искусственного анализа интеллекта, что более чем в два раза больше, чем в Agnes 2.5 Pro Alpha (24 тысячи). Он использует больше токенов, чем Qwen3.8 27B (xhigh, 47 тыс.) и GLM-5.3 (макс., 41 тыс.).
Полные результаты по индексу искусственного анализа интеллекта
