Индекс принятия решений AI Стата Decision Index v1.0

Индекс решений искусственного анализа оценивает модели принятия решений — новую категорию моделей, которые принимают структурированные решения за один вызов с вероятностью для каждого варианта. Версия 1.0 объединяет четыре оценки по классификации, использованию инструментов, знаниям, галлюцинациям и рассуждениям.

Представляем индекс решения искусственного анализа

Модели принятия решений — это новый класс моделей, которые выдают структурированные ответы или классификации с соответствующими вероятностями. В отличие от языковых моделей, предназначенных для сложных рассуждений и долгосрочных задач, модели принятия решений ориентированы на принятие структурированных решений быстрее и с меньшими затратами.

С выпуском Индекса решений искусственного анализа версии 1.0 мы стремимся помочь разработчикам и компаниям понять компромисс между возможностями, стоимостью и скоростью моделей принятия решений, как по сравнению с другими моделями принятия решений, так и с языковыми моделями.

• Выбор пути к команде
• Да/Нет Срочно?
• Оценка Насколько расстроен?

Каждый вопрос за один звонок, с вероятностью для каждого варианта

Путь к команде

Срочно?

Насколько расстроен?

Генерирует структурированный вывод

Разобранный ответ

Модели принятия решений выбирают из фиксированного набора вариантов с вероятностью для каждого за один вызов. Это делает их дешевыми и быстрыми, а также позволяет нам измерить их калибровку.

Что измеряет индекс решения

На момент запуска Индекс решений искусственного анализа объединяет четыре оценки, охватывающие классификацию, вызов инструментов, знания, галлюцинации и рассуждения

500 частных вопросов, адаптированных на основе нашего теста знаний и галлюцинаций AA-Всезнание. Каждый предлагает пять вариантов ответа: четыре ответа, один из них правильный и «Не знаю».

25% индекса: точность и уровень отсутствия галлюцинаций по 12,5% каждый.

513 текстовых вопросов с несколькими вариантами ответов из «Последнего экзамена человечества», каждый из которых представляет собой один вариант ответа среди буквенных ответов.

25% индекса

Оценка использования инструментов NVIDIA. Учитывая разговор и набор инструментов, модель выбирает, ответить ли напрямую, вызвать инструмент, запросить дополнительную информацию или сказать, что не может ответить.

Набор для испытаний на классификацию безопасности Ai2. Модель решает, является ли запрос пользователя вредным, является ли ответ помощника отказом и является ли этот ответ вредным.

Мы также проводим каждую оценку LLM. LLM отвечает структурированным выводом, в котором указывается выбранный им вариант, поэтому он не дает вероятности для каждого варианта.

Результаты модели принятия решений

Jev 1.13 лидирует в индексе решений с 58 баллами, опережая GLiDE и Microsoft-Decision-1 с 54 баллами. Jev 1.13 превосходит другие модели принятия решений в тесте рассуждений HLE-MultiChoice, набирая 21 балл, тогда как другие модели набирают 15 или меньше. По тесту знаний и галлюцинаций AA-Всеведение-Решение Jev 1.13 имеет оценку точности 35, что ниже большинства моделей принятия решений и высший балл 41 по шкале Liquid AI d1, но имеет второй по величине показатель отсутствия галлюцинаций - 35, где d1 получает только 2. В тесте вызова инструментов When2Call Jev 1.13 набирает 81 балл на четвертом месте, с Celeris-1 Decision и GLiDE от Fastino Labs лидирует с 84 баллами. Он набирает 94 балла в классификационном тесте WildGuardTest, что соответствует Perplexity Decider v1.1 27B и отстает на один балл от GLiDE с 95 баллом.

Индекс решения искусственного анализа

Экономическая и временная эффективность моделей принятия решений

Модели принятия решений сильно различаются по стоимости и скорости. Затраты варьируются от 17 до 199 долларов за миллион задач, а среднее время — от 0,06 до 0,5 секунды на задачу.

Индекс решения искусственного анализа в сравнении с затратами на 1 млн задач

Средняя стоимость задачи при текущих ценах на токены, умноженная на 1 миллион; для индекса — стоимость одного прохождения всех его оценок, разделенная на их совокупные задачи и умноженная на 1 миллион. Счет за модели принятия решений взимается только за входные токены, а за языковые модели — за входные и выходные токены.

Decider v1.1 27B имеет самую низкую стоимость за 1 млн задач — 17 долларов США, при этом Microsoft-Decision-1 (31 доллар США) и Jev 1.13 (42 доллара США) также находятся на границе возможностей и стоимости Парето. GLiDE набирает 54 балла, что соответствует Microsoft-Decision-1, но стоит 119 долларов, что примерно в три раза дороже, чем Jev 1.13. У Celeris-1 Decision самое быстрое время выполнения задачи — 0,06 секунды, что более чем в два раза быстрее, чем у Jev 1,13 — 0,13 секунды.

Индекс решения искусственного анализа: время на задачу

Средняя задержка на задачу в миллисекундах; для индекса — медиана по задачам всех его оценок.

Модели принятия решений слишком самоуверенны

Модели принятия решений дают вероятность для каждого варианта, поэтому мы можем проверить, соответствует ли вероятность, присвоенная моделью выбранному ответу, тому, насколько часто он оказывается правильным. В целом, почти на всех уровнях вероятности точность падает ниже этой вероятности для всех моделей принятия решений. Это обусловлено относительно плохой калибровкой задач на знание и рассуждение в HLE-MultiChoice и AA-Всеведение-Решение. Для сравнения, большинство моделей принятия решений относительно хорошо откалиброваны по When2Call (вызов инструментов) и WildGuardTest (классификация).

Калибровка индекса решения искусственного анализа

Скоро появится калибровка для языковых моделей.

Чем модели принятия решений отличаются от LLM

Модели принятия решений предлагают значительные преимущества в скорости и стоимости по сравнению с языковыми моделями, но уступают по знаниям и рассуждениям. Claude Haiku 5.5 (Низкий) набирает 61 балл по индексу решения, на 3 балла опережая Jev 1.13, но занимает 1,4 секунды на задачу против 0,13 секунды (в 11 раз медленнее) и стоит 184 доллара за миллион задач против 42 долларов (в 4,4 раза больше). GPT-6 Luna (низкий) набирает 55 баллов, что ниже Jev 1,13, за 1,5 секунды на задачу и 131 доллар за миллион задач.

Языковые модели лидируют по знаниям: по точности принятия решений AA-Всеведение Клод Хайку 5,5 (Низкий) набирает 52 балла, а GPT-6 Luna (Низкий) — 66, против 28–41 для моделей принятия решений. В HLE-MultiChoice они набирают 24 и 22 балла против 21 для Jev 1,13 и 15 или меньше для любой другой модели принятия решений.

При классификации и вызове инструментов ведущие модели принятия решений работают примерно одинаково. На WildGuardTest GLiDE набирает 95 баллов, а Decider v1.1 27B и Jev 1.13 набирает 94 балла против 93 у Claude Haiku 5,5 (низкий) и 89 у GPT-6 Luna (низкий). В When2Call Celeris-1 Decision и GLiDE набрали 84 балла против 77 у GPT-6 Luna (низкий) и 73 у Claude Haiku 5,5 (низкий).

Знать, когда не отвечать

На каждый вопрос АА-Всеведение-Решение предлагается ответ «Я не знаю», а уровень отсутствия галлюцинаций — это доля вопросов, на которые модель не ответила правильно, когда она выбрала этот вариант. Microsoft-Decision-1 лидирует среди моделей принятия решений с 40%, за ним следуют Jev 1.13 с 35% и Mercury Decide с 32%. Ни одна другая модель принятия решений не достигает 17%.

АА-Всеведение-Решение: Уровень отсутствия галлюцинаций