Бенчмарки защитных моделей: безопасность, процент отказов и задержка

Модели ограждений — классификаторы, которые проверяют, что входит в продукт ИИ и выходит из него, — уже являются важным уровнем безопасности при развертывании ИИ. На сегодняшний день не существует единого стандарта оценки этих моделей. В сотрудничестве с NVIDIA мы протестировали три текущих набора данных для оценки ограждений с открытым исходным кодом, сопоставив их со специальными классификаторами безопасности, API-интерфейсами модерации и двумя моделями gpt-oss, предложенными искусственным анализом в качестве классификаторов безопасности, в качестве предварительного сравнения. В этой статье нет полного запуска эталонного теста искусственного анализа, но анализ проводился независимо, в соответствии с нашей стандартной практикой.

Сравнение современных моделей ограждений

Мы протестировали модели ограждений на трех открытых наборах данных. Основная цифра — это общее качество обнаружения, средний балл F1 по всему пакету. F1 сочетает в себе точность и полноту, поэтому модель должна выявлять небезопасный контент, не создавая слишком много ложных срабатываний. Сначала мы сообщаем среднее значение F1, затем определяем задержку, отзыв (долю перехваченного небезопасного контента) и специфичность (долю разрешенного безопасного контента).

Сравнение включает в себя специальные модели безопасности, собственные API-интерфейсы модерации и две общеязыковые модели gpt-oss, запускаемые с помощью подсказки классификатора, созданной искусственным анализом. Эти строки gpt-oss включены в качестве исходных базовых показателей, а не в официальные конфигурации классификатора безопасности.

Средний Ф1

F1 балансирует обнаружение небезопасного контента и чрезмерный отказ от безопасного контента, в среднем по WildGuardTest, ToxicChat и XSTest. Для просмотра деталей наведите курсор на любую полосу. Более поздние диаграммы показывают задержку и чрезмерный отказ отдельно.

Средний отзыв (небезопасный поимка)

Что на самом деле представляет собой модель ограждения

Модель ограждения — это классификатор с одной задачей: прочитать фрагмент контента и решить, безопасен ли он, а если нет, то какую политику он нарушает. Он не общается, не отвечает на вопросы и не выполняет пользовательские задачи, а работает рядом с системами искусственного интеллекта, которые это делают. (Более широкую систему правил и фильтров часто называют ограждениями; мы называем модель, вызывающую вызов, моделью ограждения.)

В некоторых развертываниях содержимое отображается по обе стороны от основной модели

Пользователь

подсказать

Входная защита

попытка взлома · запрос личных данных · злоупотребление

LLM / агент

генерирует

Выходная защита

вредная реакция · утечка данных · токсичность

ответ

Каждый уровень предназначен для обнаружения различных сбоев. Защита ввода предотвращает попытки взлома, оперативное внедрение и извлечение личных данных до того, как они достигнут модели, а ранняя блокировка экономит затраты на основную систему. Защита вывода улавливает дополнительные случаи, особенно когда невинный на первый взгляд запрос приводит к вредоносному ответу. Например, агент создания мультимедиа может получить безобидное сообщение, но по-прежнему создавать неприемлемое изображение или видео.

Не каждому продукту нужны обе стороны — некоторые экранируют только входные данные, другие — только выходные. А одна модель ограждения может оценивать подсказку и ответ за один вызов, поэтому проверка обеих сторон не обязательно означает дважды запускать ограждение.

Почему моделям ограждений нужен собственный эталон

Модели Guardrail следует оценивать по той работе, которую они на самом деле выполняют: быстрому принятию решений по классификации внутри живого продукта. Хороший эталонный тест должен измерять ложноотрицательные и ложноположительные результаты, задержку и стоимость вместе, поскольку каждое из них имеет разное значение в зависимости от продукта. Общие тесты возможностей и широкие тесты безопасности не отражают этот компромисс достаточно четко.

Наборы оценочных данных

Три открытых, текстовых критерия, которые вместе охватывают немедленный вред, ответный вред, отказ и чрезмерный отказ.

WildGuardТест

Примеры тестов включают подсказки и ответы с пометками «вредность подсказки», «вредность ответа» и «отказ». Набор данных объединяет синтетические и написанные человеком примеры.

ToxicChat

Подсказки для пользователей из общедоступной демонстрации чат-бота Vicuna с человеческими ярлыками токсичности и взлома. Набор тестов в основном доброкачественный, примерно 7% из них содержат токсичные подсказки.

XSTest

Созданный вручную контрастный набор из 250 безопасных подсказок, содержащих слова, часто связанные с небезопасными запросами, а также 200 небезопасных подсказок в 10 типах подсказок.

Точность: кто что ловит

Модель ограждения стоит развертывать только в том случае, если она точна и практична для запуска при каждом запросе. На этой диаграмме каждая модель упорядочена по качеству обнаружения и наблюдаемой задержке: чем выше и дальше влево, тем лучше.

Качество обнаружения и задержка

Задержка — это сквозное время на каждый запрос (полный ответ), измеряемое по одному запросу за раз, при этом 20 запросов на прогрев отбрасываются. Каждая модель запускала один и тот же фиксированный набор из 450 запросов (по 150 от WildGuardTest, ToxicChat и XSTest) с одинаковыми запросами и ограничениями токенов при проверке точности. Все модели, за исключением омни-модерации, размещались на графических процессорах класса B200 и синхронизировались на обслуживающем хосте; Всемодерация измерялась на API, размещенном на OpenAI.

Ловушка чрезмерного отказа

F1 фиксирует часть компромисса, но не показывает, откуда берутся ошибки. Эта диаграмма отделяет отзыв (долю перехваченного небезопасного контента) от специфичности (долю разрешенного безопасного контента), поэтому оба типа ошибок видны напрямую: пропуск небезопасного контента (промах) и блокировка безопасного контента (чрезмерный отказ).

Уловить вред или оставить безопасный контент в покое

Некоторые модели улавливают больше небезопасных примеров, но также блокируют более безопасные; другие оставляют в покое более безопасный контент, но пропускают больше небезопасного контента. Правильный баланс зависит от продукта, поэтому мы сообщаем обе стороны, а не только общий балл.

Ограждение — это налог на каждый запрос

Ограждение не добавляет никакой функции, о которой просил пользователь — оно увеличивает задержку и стоимость каждого проверяемого вызова. Проверки ввода часто могут быть скрыты до или рядом с запросом основной модели, но проверки вывода могут потребовать буферизации сгенерированного контента, прежде чем он достигнет пользователя. Цель состоит в том, чтобы достичь требуемого порога безопасности с как можно меньшими дополнительными задержками и затратами.

Ограждение Средняя задержка

Выбор ограждения для вашего случая использования

Не существует единственного наилучшего ограждения — правильное зависит от того, сколько будет стоить вашему продукту чрезмерный отказ или промах, а также от задержки и стоимости, которые вы можете себе позволить. Это сводится к двум вопросам

1. В какую сторону он должен наклоняться?

Разрешающее и ограничительное — это два конца компромисса между отзывом и специфичностью. Выбирайте ту ошибку, которая дешевле для вашего продукта.

Социальные платформы, потребительский чат, креативные инструменты

Здесь важнее всего специфичность — обеспечение безопасного потока контента. Несколько пропущенных небезопасных случаев допустимы, но чрезмерный отказ расстраивает законных пользователей.

На диаграмме чрезмерного отказа эти модели располагаются справа: высокая специфичность, даже если припоминание не самое высокое.

Чрезмерный отказ — это показатель, за которым следует следить, и такие наборы, как XSTest, созданы для его выявления.

Клинические и диагностические инструменты, безопасность детей, регулируемые или критически важные системы

Здесь важнее всего помнить: выявлять как можно больше небезопасных случаев и принимать больше ложных срабатываний как цену безопасности. Одиночный промах может быть неприемлем.

В таблице чрезмерных отказов эти модели занимают верхние позиции: высокая запоминаемость, даже при некоторой потере специфичности.

Помните, что вред, специфичный для вашего домена, имеет большее значение, чем совокупный F1.

2. Какова ваша задержка и бюджет?

Задержка и стоимость применяются к любому варианту бережливого подхода, который вы выберете. Обычно они разрывают связи между моделями, которые уже достаточно точны, но сроки в реальном времени, большой объем или ограничения на устройстве могут полностью исключить самые сильные модели.

На приведенной выше диаграмме задержки лучшая модель по качеству может оказаться доступной не для каждого запроса.

Где должна проводиться оценка ограждения

На наш взгляд, ключевыми темами для будущего сравнительного анализа моделей ограждений будут

• Встроенная поддержка агента: оценивайте барьеры для многоходовых диалогов и вызовов инструментов, а не только для отдельных запросов.
• Мультимодальный: включает входы и выходы изображения, аудио и видео, где ожидается работа ограждения.
• Управляемость: проверьте, может ли модель следовать политике, заданной во время выполнения, вместо того, чтобы предполагать, что один универсальный набор меток безопасности подходит для каждого продукта.
• Стоимость и задержка: сообщайте о пропускной способности, задержке и стоимости вместе с показателями качества.

Методология

Каждая модель классифицировала одни и те же 7232 запроса: 1699 от WildGuardTest, 5083 от ToxicChat и 450 от XSTest (строки без пригодных для использования меток удаляются во время загрузки). В этом прогоне измерялась безопасность только на уровне подсказки: WildGuardTest и ToxicChat оцениваются как наборы данных о быстром вреде, а XSTest — как набор данных о чрезмерном отказе. Мы не учитывали ответы помощника, и там, где шаблон модели включает слот для ответа помощника, он оставался пустым.

Все вызовы моделей выполнялись без потоковой передачи при температуре 0 с ограничением выходных токенов для конкретной модели (специальный API модерации омни-модерации не принимает параметры выборки). Модели отвечают в своих собственных форматах — компактный JSON, вердикты «вредно/невредно», оценки «да/нет» — которые мы анализируем в двоичной метке «безопасно/небезопасно» и оцениваем по меткам каждого набора данных. Метрика заголовка усредняет три оценки набора данных с одинаковым весом, поэтому более крупный набор ToxicChat не доминирует.

Задержка

Задержка измерялась отдельно от измерений точности. Все модели, за исключением омни-модерации, обслуживались с помощью vLLM или SGLang на узлах графического процессора класса B200 и синхронизировались по времени на обслуживающем хосте с его локальной конечной точкой; омни-модерация доступна только в виде размещенного API и измерялась по конечной точке OpenAI. Каждая модель получила 20 незарегистрированных запросов на прогрев, затем 450 измеренных запросов, по одному запросу в работе за раз — фиксированное подмножество из 150 запросов на набор данных, стратифицированное по меткам и длине запросов, с использованием тех же запросов и ограничений токенов, что и при проверке точности.

Подсказка

Мы запускали каждую модель так, как ее авторы документируют, и раскрываем все подсказки ниже. Конфигурации делятся на четыре группы, упорядоченные по объему предоставленного нами текста. Никакие подсказки не включают имена наборов данных, золотые метки или подсказки по категориям, специфичным для набора данных.

Qwen3Guard Gen 8B · Llama Guard 3 8B · Llama Guard 4 12B · Nemotron 3 Безопасность контента · Nemotron 3.5 Безопасность контента (все варианты) · всемодерация

Каждое тестовое приглашение проходит через собственный шаблон чата модели или API модерации без добавления приглашения классификатора. Варианты Nemotron 3.5 переключают рассуждения и вывод категорий с помощью документированных флагов шаблона чата.

Llama 3.1 Nemotron Safety Guard 8B v3 · Nemotron Content Safety Reasoning 4B (оба режима) · WildGuard

Шаблон приглашения, опубликованный в карточке модели или документации поставщика, при этом каждое приглашение к тестированию вставляется в документированный слот и больше ничего не изменяется.

gpt-oss-safeguard-20B и -120B · Granite Guardian 4.1 8B (оба режима) · ShieldGemma 9B

Модели, разработанные с учетом политики, критериев или рекомендаций во время выполнения. Мы разработали одну широкую политику безопасности для каждого механизма, полностью раскрытую ниже, и использовали ее без изменений во всех трех наборах данных.

гпт-осс-20Б · гпт-осс-120Б

Модели общего назначения с краткой инструкцией классификатора, написанной искусственным анализом. Эти строки представляют собой исследовательские базовые параметры, а не официальные конфигурации классификатора безопасности.

Текст подсказки

Заполнители, такие как {user_prompt} и {input_text}, отмечают, где средство выполнения тестов вставило каждое приглашение набора данных; В этом прогоне, предназначенном только для подсказок, слоты для ответа помощника оставались пустыми.

Документированное приглашение NVIDIA для обеспечения безопасности контента с неизмененной таксономией S1-S23 и контрактом вывода JSON.

Источник: Учебное пособие NVIDIA NeMo.

Документированное приглашение классификатора NVIDIA с неизмененной таксономией и выходным форматом. Каждое приглашение теста заполняет слот человека, слот помощника остается пустым, и добавляется документированный маркер /think или /no_think — эти два режима представляют собой две строки статьи.

Источник: Модель карты NVIDIA · Руководство NVIDIA NIM

Подсказка о заполнении карты модели AI2 не изменилась, за исключением вставки подсказки для каждого теста. WildGuard возвращает заключения о вредном запросе, отказе и вредоносном ответе; мы оцениваем поле вредного запроса.

Источник: карта модели AI2.

gpt-oss-safeguard принимает политику безопасности в качестве подсказки системы и аргументирует против нее. Мы разработали одну широкую политику ограждения, соответствующую опубликованной структуре политики OpenAI, включая явные исключения для мягких упоминаний деликатных тем; оба размера придерживались одинаковой политики.

Источник: руководство OpenAI.

Granite Guardian использует предоставленные пользователем критерии оценки внутри документированного блока Guardian и отвечает оценкой «да» или «нет». Мы написали один общий критерий быстрого повреждения, идентичный для строк «думать» и «не думать» — отличается только директива документированного режима IBM. Запрос теста отправляется как предыдущее сообщение в диалоге, за которым следует этот блок.

Источник: карточка модели IBM.

Бездумный вариант

Подумай вариант

ShieldGemma классифицирует контент в соответствии с рекомендациями по безопасности, предоставленными вместе с запросом. Мы написали одно общее правило «Нет опасного контента» и передали его через параметр правила шаблона чата модели. Он охватывает более четырех рекламируемых категорий политики ShieldGemma, что делает его задачу шире, а не проще.

Источник: карточка модели Google.

Карты моделей gpt-oss описывают модели чата общего назначения без шаблона классификатора безопасности, поэтому мы написали короткую, нейтральную к модели инструкцию классификатора, идентичную для обоих размеров.

Источник: карта модели gpt-oss-20B · карта модели gpt-oss-120B