Как читать рейтинги нейросетей и не обмануться
Что на самом деле показывают тесты и индексы, почему разница в пару баллов ничего не значит и на что смотреть кроме места в рейтинге.
Рейтинги удобны: одна цифра — и всё понятно. Но у этой простоты есть подвохи. Вот как пользоваться рейтингами с толком.
Что измеряет индекс
Индекс ума — это сводный балл по набору тестов: научные вопросы, математика, программирование, выполнение инструкций. Он хорошо показывает общий уровень модели, но не говорит, как она справится именно с вашей задачей. Это не процент правильных ответов и не гарантия.
Небольшая разница — это шум
Модели, которые отличаются на пару баллов, на практике часто неразличимы. Результаты тестов колеблются от запуска к запуску, а настройки модели (например, сколько ей разрешено «думать») заметно сдвигают баллы. Сравнивайте группы: «сильные», «средние», «простые» — а не соседние места.
Отдельные тесты полезнее общего балла
Если вам нужен код — смотрите на тесты программирования. Нужна точность форматов и следование требованиям — на тесты инструкций. Сложные экспертные вопросы важны для аналитики и консультаций. На нашей главной у каждого теста есть пояснение, кому он важен.
Что ещё учитывать
- Цена. Модель на пару баллов слабее может стоить в десять раз дешевле.
- Скорость и ожидание первого слова — если человек ждёт ответ вживую.
- Окно контекста — если нужно работать с длинными документами.
- Язык. Большинство тестов на английском; на русском модели могут вести себя иначе.
Главный совет
Используйте рейтинг, чтобы сузить выбор до двух-трёх моделей, а окончательное решение принимайте по своим примерам. Полчаса проверки на реальных задачах скажут больше любого рейтинга.