Анонс Альянса кибер-индекса AI Стата Cyber Index Alliance

Альянс искусственного анализа Cyber ​​Index объединяет отраслевых партнеров, чтобы установить новый стандарт оценки эффективности моделей ИИ при решении задач корпоративной киберзащиты. Альянс запускает одновременно с Кибериндексом искусственного анализа, который объединяет три открытых теста, предоставленных партнерами, для оценки того, насколько хорошо агенты находят и устраняют уязвимости.

• Коллинеарный ИИ
• ИБМ
• NVIDIA
• Версель

Представляем кибериндекс искусственного анализа

Каждая организация, которая полагается на программное обеспечение, имеет уязвимости, и их обнаружение и устранение до того, как это сделает злоумышленник, — это постоянная работа группы безопасности. Это ежедневно затрагивает предприятия, правительства, НПО и последующих пользователей.

По мере увеличения кибервозможностей моделей ИИ злоумышленники могут автоматизировать большую часть своей работы и выполнять ее в большем масштабе. Командам безопасности нужны функциональные и экономичные инструменты, которые смогут обнаруживать и устранять уязвимости до того, как они будут использованы.

Чтобы решить эту задачу, мы выпускаем Кибериндекс искусственного анализа, чтобы помочь лицам, принимающим решения, выбирать модели для работы в области безопасности. Это отдельный индекс возможностей модели в области киберзащиты, который объединяет наборы оценочных данных от отраслевых партнеров и научных кругов для измерения того, насколько хорошо модель может поддерживать и ускорять работу группы внутренней безопасности.

Cyber Index тестирует защитный цикл: обнаружение уязвимостей в кодовой базе, их воспроизведение и проверка, а также исправление без нарушения существующей функциональности. Модели работают на основе исходного кода, как это делает инженер по безопасности, проверяющий приложение, и мы не просим какую-либо модель создать работающий эксплойт. Результатом является независимое аналогичное сравнение того, какие модели лучше всего поддерживают эту работу и сколько стоит их эксплуатация.

Кибер-индекс искусственного анализа

Альянс Кибер-Индекс

Кибериндекс искусственного анализа запускается в партнерстве с Cyber Index Alliance, который объединяет отраслевых партнеров, чтобы установить новый стандарт оценки того, как модели ИИ выполняют задачи корпоративной киберзащиты. Партнеры вносят экспертный вклад в разработку и внедрение Индекса, а также могут напрямую предоставлять наборы данных и внешние исследования.

Партнеры по запуску

• Collinear AI Разработчик CWE-bench, предоставил частную выдержанную оценку.
• Мнение экспертов IBM по объему и методологии.
• Мнение экспертов NVIDIA по объему и методологии.
• Разработчик Vercel из DeepsecBench предоставил частную отложенную оценку.

Организации, заинтересованные во вступлении в Альянс Кибер-Индекс, могут связаться с нами

Как работает Кибериндекс искусственного анализа

Обзор тестов

На момент запуска Кибериндекс искусственного анализа объединяет три оценки кибербезопасности, полученные от отраслевых партнеров, и научные исследования. Между собой они охватывают всю ширину защитного цикла: от сканирования базы кода на наличие слабых мест до воспроизведения сбоя и внедрения исправления.

Мы помечаем каждую оценку возможностями и подвозможностями, которые она тестирует, как показано в таблице выше, чтобы мы могли видеть, какие части киберзащиты охватывает Индекс и где в нем есть пробелы. Он охватывает выявление и устранение уязвимостей с доступом к исходному коду. Мы планируем добавить реагирование на инциденты, написание нового кода без внедрения уязвимостей и цели без доступа к исходному коду, такие как скомпилированное программное обеспечение и работающие серверы. Реализация эксплойта, превращающего найденную уязвимость в работающий эксплойт, выходит за рамки индекса, ориентированного на защиту.

Методология

Все три оценки выполняются на Stirrup, нашем агенте с открытым исходным кодом.

Поскольку киберработа имеет двойное назначение, мы также отслеживаем случаи, когда модель или поставщик отказываются от выполнения задания по соображениям безопасности, и сообщаем о них отдельно от оценки. Учитывая открытый характер задач, система CyberGym-E2E-AA позволяет моделям завершать задачу без обнаружения, если они приходят к выводу, что не могут найти или продемонстрировать уязвимость.

CWE-Bench-AA: аудит и исправление реальных репозиториев

CWE-Bench-AA — это наша реализация CWE-bench от Collinear AI. Каждая задача — это аудит безопасности. Агент получает проверку репозитория с открытым исходным кодом и инструкции по аудиту кода и исправлению обнаруженного. Коллинеарный ИИ включает в себя задачи, которые воспроизводят обнаруженные CVE (общие уязвимости и воздействия, публичный реестр известных недостатков безопасности). В задании описывается проблемная область, но не точное местоположение.

Набор тестов содержит 120 отложенных задач, принадлежащих только коллинеарному искусственному интеллекту и искусственному анализу, охватывающих все десять категорий OWASP Top 10 (2025 г.) по C/C++, Go, Java, JavaScript/TypeScript, Python и Rust. Каждая задача проверяет как поиск слабых мест, так и их исправление, не нарушая при этом остальную часть кодовой базы.

CWE-Bench-AA

Доля из 120 задач CWE-bench, которую модель решает за одну попытку. Задача считается решенной только тогда, когда программный верификатор задачи подтверждает, что эксплойт больше не работает и законное поведение все еще работает; нет частичной оценки и нет судьи LLM. Задачи являются частными, выполняются в изолированной программной среде без доступа к Интернету, и задача описывает проблемную область, но не точное местоположение.

Как модели терпят неудачу

Сбои CWE-Bench-AA концентрируются в двух областях: частичные исправления, которые оставляют уязвимость открытой, и чрезмерные исправления, когда исправление нарушает законное поведение. В среднем модели тратили 38% своего хода на поиск ошибки перед тем, как внести первое редактирование, а оставшиеся 62% — на исправление и проверку исправления.

Частичные исправления — это основной вид сбоя: за исключением отказов и тайм-аутов, 55% неудачных попыток устранили основную проблему, но оставили открытой связанную с ней проблему, например вторую точку входа. На чрезмерные исправления приходится ~24% неудачных попыток, и они наиболее распространены среди самых мощных моделей, составляя ~40% неудач для четырех моделей с наивысшими оценками по сравнению с ~15% для моделей с самыми низкими показателями, при этом поломка обычно является близким случаем законной функциональности.

DeepsecBench-AA: поиск уязвимостей экспертами-обозревателями подтвержден

DeepsecBench-AA, наша реализация DeepsecBench от Vercel, изолирует процесс обнаружения. Агенту предлагается просмотреть помеченные сканером файлы в коде приложения с открытым исходным кодом и сообщить о каждой уязвимости, которую он может подтвердить. Мы сопоставляем полученные результаты с золотым набором уязвимостей, проверенных экспертами.

Команды безопасности сталкиваются с одной и той же открытой проблемой: решить, где искать в большой кодовой базе, которая постоянно меняется. Агенты часто сообщают о находках, выходящих за рамки «золотого набора», некоторые из них реальны, и команде безопасности приходится проверять каждое из них. Оценка по золотому набору вознаграждает модели, которые выявляют реальные результаты, не скрывая их за ложными срабатываниями.

DeepsecBench-AA

Оценка F2 сообщаемых результатов модели по сравнению с проверенным экспертами золотым набором, при котором отзыв выше точности. Модель судьи решает, реальна ли каждая находка, и сопоставляет ее с золотым набором; дубликаты учитываются в зависимости от точности. Обзор повторяется три раза, а заголовок — медиана F2.

Учитывая открытый характер DeepsecBench-AA, неудивительно, что не все уязвимости обнаруживаются: лучшая модель выявляет только 41% проблем, проверенных экспертами. Однако существует четкая закономерность в типах ошибок, о которых модели сообщают и о которых не сообщают. В моделях чаще всего обнаруживаются недостатки, имеющие прямой путь от ненадежных входных данных к последствиям.

Напротив, ошибки, требующие анализа последовательности событий или учета правил бизнеса и конфиденциальности, встречаются редко. Когда модели сообщают об этих уязвимостях последовательности событий, они почти всегда правы (95% отчетов верны). GPT-6 Sol и GPT-6 Astra обнаруживают их примерно в 30% запусков, что примерно в два раза чаще, чем у следующих лучших моделей, и в три-четыре раза больше, чем у типичной модели, что позволяет предположить, что это может быть новая возможность.

CyberGym-E2E-AA: обнаруживайте, воспроизводите и исправляйте ошибки безопасности памяти.

CyberGym-E2E из Центра ответственного децентрализованного интеллекта Беркли оценивает модели сквозного процесса обнаружения уязвимостей, их воспроизведения и написания исправлений, которые проходят существующие тесты проекта. Тест фокусируется на ошибках безопасности памяти.

Каждая задача нацелена на реальную уязвимость безопасности памяти в широко используемом проекте с открытым исходным кодом C/C++, таком как FFmpeg или CPython. Модель должна найти ошибку, написать входные данные для проверки концепции, чтобы вызвать сбой, и исправить ее, чтобы сбой больше не воспроизводился. Наша реализация CyberGym-E2E-AA использует отфильтрованный набор из 131 задачи, по одной задаче на проект. Завершение задачи без находки оценивается в ноль, и мы записываем это отдельно от неудавшейся отправки.

КиберГим-E2E-AA

Доля из 131 задачи по обеспечению безопасности памяти, которую модель решает за одну попытку. Задача считается решенной только в том случае, если проверка концепции агента приводит к сбою непропатченной сборки, его патч исправляет сбой, а исправленный проект все еще проходит тесты функциональности (этапы с 1 по 3). Устраняет ли патч также основную уязвимость (этап 4), записывается, но не учитывается.

Отказы являются важным фактором в CyberGym-E2E-AA: GPT-6 Astra, GPT-6 Sol, Claude Fable 5.1, Claude Opus 5.5, Qwen3.8 2.4T A95B и Qwen3.8 27B отказываются выполнять как минимум 98% задач, что затрудняет оценку производительности передовой модели.

Из остальных моделей неудачи следуют трем закономерностям. Обнаружение является основной проблемой: 42% попыток достигают 90-минутного лимита без ввода данных, который приводит к сбою программы. Это ключевой фактор для корпоративных пользователей, определяющих объем своей кодовой базы для сканирования.

Как и в DeepsecBench-AA, модели больше всего борются с ошибками, которые зависят от того, как состояние меняется на протяжении нескольких шагов. Модели пропускают 50% попыток ошибок, выходящих за пределы, против 33% ошибок использования после освобождения, которые зависят от времени жизни объекта в нескольких операциях, и 20% ошибок целочисленных и арифметических операций.

Наконец, попытки прохождения часто исправляют неверную ошибку: 31% проходов исправляют реальный сбой, отличный от цели. Это, как правило, более мелкие проблемы, такие как сбои с нулевым указателем, на которые приходится 22% проходов мимо цели по сравнению с 9% попаданий в цель, поскольку модели останавливаются при первом сбое, который они могут проверить, и завершаются в течение пары ходов.

Ресурсы Кибер-индекса искусственного анализа

Наша дорожная карта развития

Команды безопасности уже выбирают модели для поддержки своей оборонительной работы, поэтому мы запускаем Кибер-индекс искусственного анализа и Кибер-индексный альянс сейчас с тремя оценками, а не ждем, чтобы охватить все возможности.

Мы будем пересматривать Индекс по мере совершенствования моделей и добавлять оценки по мере необходимости измерения новых возможностей, начиная с пробелов, перечисленных выше.