Анонс обновлённых индексов возможностей AI Стата v1.1
Новая методология классификации возможностей: разделение на кодинг, математику, агентскую логику и скорость.
Мы обновляем индексы возможностей версии 1.1, добавляя более строгую настройку предметной области, объединяя фрагменты оценок основного индекса интеллекта версии 4.3 со специализированными оценками.
Индексы возможностей сопоставляют задачи, связанные с профессиями O*NET, с критериями, которые их представляют, взвешивая каждый эталон по тому, как часто его возможности проявляются в задачах. Индексы возможностей версии 1.1 включают обновления индекса интеллекта версий 4.2 и 4.3 с разделением по доменам, если они доступны.
| Индекс | Добавлено | Удалено |
|---|---|---|
| Финансы и бухгалтерский учет | Использование агентских инструментов (AutomationBench-AA, Finance) Агентическая работа с знаниями (AA-портфель) Длинный контекст (GDP.pdf) | Агентское взаимодействие с клиентами (𝜏³-Банковское дело) |
| Стратегия и операции | Использование агентских инструментов (AutomationBench-AA, Operations) Агентская работа с знаниями (AA-портфель) Длинный контекст (GDP.pdf) | Агентское взаимодействие с клиентами (𝜏³-Банковское дело) |
| Юридический | Использование агентских инструментов (AutomationBench-AA, Operations and Support) Агентская работа с знаниями (AA-портфель) Длинный контекст (GDP.pdf) | Агентское взаимодействие с клиентами (𝜏³-Банковское дело) |
| Здравоохранение и медицина | Использование агентских инструментов (AutomationBench-AA, Operations and Support) Долгоконтекстное рассуждение (MLCR-AA) Агентическая работа с знаниями (AA-портфель) | Агентское взаимодействие с клиентами (𝜏³-Банковское дело) |
| Инженерное дело | Использование агентского терминала (Terminal-Bench v4.0) Агентская информационная работа (AA-портфель) | Использование агентского терминала (Terminal-Bench v2.1) Обоснование (GPQA Diamond) |
| Экономика | Агентская информационная работа (AA-портфель) | - |
Финансы и бухгалтерский учет
Добавлено использование агентских инструментов, полученное из финансового раздела AutomationBench-AA. Агентское взаимодействие с клиентами удалено. AA-Briefcase добавлен вместе с GDPval-AA v2 в агентской информационной работе, а GDP.pdf добавлен вместе с LCR в долгосрочном контексте.
| Возможность | Оценки | v1.0 | v1.1 |
|---|---|---|---|
| Знание бизнеса | АА-Всеведение | 30% | 30% |
| Агентская информационная работа | GDPval-AA v2, AA-Портфель | 30% | 30% |
| Рассуждение | HLE | 20% | 20% |
| Использование агентского инструмента | АвтоматизацияБенч-АА | 0% | 10% |
| Длинный контекст | LCR, ВВП.pdf | 5% | 5% |
| Негаллюцинации | АА-Всеведение | 5% | 5% |
Стратегия и операции
Добавлено использование агентских инструментов, полученное из раздела «Операции» AutomationBench-AA, чтобы отразить важность использования инструментов в повседневных операционных задачах. Агентское взаимодействие с клиентами удалено. AA-Briefcase добавлен вместе с GDPval-AA v2 в агентской информационной работе, а GDP.pdf добавлен вместе с LCR в долгосрочном контексте.
| Возможность | Оценки | v1.0 | v1.1 |
|---|---|---|---|
| Агентская информационная работа | GDPval-AA v2, AA-Портфель | 35% | 35% |
| Знание бизнеса | АА-Всеведение | 30% | 30% |
| Использование агентского инструмента | АвтоматизацияБенч-АА | 0% | 30% |
| Длинный контекст | LCR, ВВП.pdf | 5% | 5% |
Юридический
Добавлено использование агентских инструментов, полученное из фрагментов Operations и Support AutomationBench-AA, чтобы отразить роль использования инструментов в юридических рабочих процессах. Агентское взаимодействие с клиентами удалено. AA-Briefcase добавлен вместе с GDPval-AA v2 в агентской информационной работе, а GDP.pdf добавлен вместе с LCR в долгосрочном контексте.
| Возможность | Оценки | v1.0 | v1.1 |
|---|---|---|---|
| Юридические знания | АА-Всеведение | 35% | 35% |
| Агентская информационная работа | GDPval-AA v2, AA-Портфель | 25% | 25% |
| Рассуждение | HLE | 15% | 15% |
| Длинный контекст | LCR, ВВП.pdf | 10% | 10% |
| Негаллюцинации | АА-Всеведение | 10% | 10% |
| Использование агентского инструмента | АвтоматизацияБенч-АА | 0% | 5% |
Здравоохранение и медицина
Добавлено рассуждение в длинном контексте, полученное из MLCR-AA. Это оценивает рассуждения на основе длинных клинических записей. Добавлен агентский инструмент «Использование», полученный из частей Operations и Support AutomationBench-AA, для покрытия операционных рабочих процессов, имеющих отношение к здравоохранению. Агентское взаимодействие с клиентами удалено. AA-Портфель добавлен вместе с GDPval-AA v2 в Agentic Knowledge Work.
| Возможность | Оценки | v1.0 | v1.1 |
|---|---|---|---|
| Медицинские и медицинские знания | АА-Всеведение | 35% | 30% |
| Агентская информационная работа | GDPval-AA v2, AA-Портфель | 25% | 25% |
| Длинноконтекстное рассуждение | MLCR-AA | 0% | 15% |
| Негаллюцинации | АА-Всеведение | 15% | 10% |
| Рассуждение | HLE | 15% | 10% |
| Использование агентского инструмента | АвтоматизацияБенч-АА | 0% | 10% |
Инженерное дело
Использование агентского терминала обновлено до версии Terminal-Bench v4.0. GPQA Diamond удален из Reasoning. AA-Портфель добавлен вместе с GDPval-AA v2 в Agentic Knowledge Work.
| Возможность | Оценки | v1.0 | v1.1 |
|---|---|---|---|
| Инженерные знания | АА-Всеведение | 35% | 35% |
| Рассуждение | HLE, КритПт | 35% | 30% |
| Агентская информационная работа | GDPval-AA v2, AA-Портфель | 25% | 20% |
| Использование агентского терминала | Терминал-Скамейка 4.0 | 5% | 15% |
Экономика
AA-Портфель добавлен вместе с GDPval-AA v2 в Agentic Knowledge Work.
| Возможность | Оценки | v1.0 | v1.1 |
|---|---|---|---|
| Знания в области экономики | АА-Всеведение | 35% | 35% |
| Рассуждение | HLE | 35% | 35% |
| Агентская информационная работа | GDPval-AA v2, AA-Портфель | 15% | 25% |
| Длинноконтекстное рассуждение | LCR | 15% | 5% |
Полные результаты и методология
