Анонс AA-LCR: бенчмарк логики на сверхдлинных контекстах (Long Context Reasoning)

Мы выпускаем искусственный анализ длинных контекстных рассуждений (AA-LCR), новый тест, предназначенный для оценки того, насколько хорошо языковые модели могут анализировать несколько длинных документов. AA-LCR требует, чтобы модели считывали 100 тысяч входных токенов (измеряемых с помощью токенизатора cl100k_base), интегрировали входные данные из разных мест во входных документах и ​​аргументировали ответы. В отличие от синтетических задач с длинным контекстом, таких как «Игла в стоге сена», AA-LCR предназначен для воспроизведения реальных задач рассуждения, которые работники интеллектуального труда ожидают от языковых моделей.

Рассуждение над большими объемами входных данных имеет решающее значение для многих вариантов использования современных моделей ИИ, включая задачи, выходящие за рамки документов, таких как AA-LCR. Мы ожидаем, что результаты AA-LCR будут хорошо сочетаться с контекстным пониманием больших баз кода, длительных диалогов и больших объемов памяти предыдущих разговоров.

Основные выводы:

• Сегодняшние ведущие модели достигают точности лишь ~70 %: первые три места занимают OpenAI o3 (69 %), xAI Grok 4 (68 %) и Qwen3 235B 2507 Reasoningvariant (67 %).
• Простые тесты поиска значительно переоценивают реальные возможности длинного контекста.
• Производительность сильно различается: от 60% (лучший) до 20% (худший) среди последних передовых моделей.

Подробности искусственного анализа с длинным контекстом (AA-LCR)

AA-LCR состоит из 100 вопросов, созданных человеком на основе соответствующего набора документов со средней длиной около 100 000 токенов (измеряется с помощью токенизатора cl100k_base).

Каждый вопрос требует

• Обоснование нескольких документов: для ответа требуется информация из нескольких документов.
• Многоэтапное рассуждение: решения не указаны прямо в документах и должны быть выведены из множества фрагментов информации.

Мы выбрали наборы документов для воспроизведения реальных задач, которые работники умственного труда хотят, чтобы современные языковые модели могли выполнять. Наши сценарии включают в себя

• Сравнение финансовых показателей в нескольких отчетах компании
• Отслеживание объектов и отношений в юридических документах
• Синтезирование политических позиций на основе консультаций с правительством

Результаты

AA-LCR показывает производительность в диапазоне от 69,3% (O3 OpenAI) до 14,0% (LG Exaone 4.0 32B). В отличие от тестов общего интеллекта, в которых модели рассуждения обычно превосходны, AA-LCR показывает, что модели без рассуждений с большими контекстными окнами (например, GPT-4.1 с контекстом 1M) могут превосходить ведущие модели рассуждения (например, DeepSeek R1, o1-mini).

Существует значительная разница в общем количестве токенов вывода для запуска AA-LCR: от 2,7 млн ​​токенов вывода для OpenAI o3 до 22 тыс. токенов вывода для Amazon Nova Premier.

Анализ выходных токенов AA-LCR

Распределение токенов AA-LCR

Разработка набора данных

AA-LCR был создан в результате строгого многоэтапного процесса с участием нескольких членов исследовательской группы искусственного анализа и более дюжины студентов бакалавриата, которые были привлечены на основе краткосрочного контракта для написания и/или проверки вопросов.

Курирование документов: мы выбрали разнообразные наборы документов (отчеты компаний, правительственные консультации, юридические документы, научные статьи), в среднем около 100 000 токенов каждый (измерено с помощью токенизатора cl100k_base), представляющие реальные материалы, которые анализируют специалисты по знаниям.

Создание вопросов: студенты бакалавриата, представляющие различные дисциплины, разработали вопросы с доступом через панель разработки наборов данных к неграничным моделям тестов для проверки сложности вопросов (GPT-4o-mini, Llama-3.1-70B, Gemini 1.5 Flash). Эти модели были специально выбраны, чтобы дать создателям представление о возможностях ИИ без доступа к передовым моделям, предотвращая состязательный отбор против конкретных передовых моделей. Создателям было поручено разработать практические вопросы, требующие рассуждения на основе нескольких документов, и обеспечить, чтобы вопросы были достаточно сложными, чтобы вышеупомянутые модели не могли ответить на них правильно.

Проверка на людях: каждый вопрос был проверен посредством тестирования на людях

• Оценщики отвечали на вопросы, используя те же наборы документов, которые были предоставлены для моделей ИИ.
• Человеческая деятельность выявила сложный характер теста: отдельные оценщики достигли скромных показателей точности, обычно правильно отвечая на 40–60% вопросов с первой попытки.
• Однако, когда оценщикам были представлены правильные ответы, они продемонстрировали высокую степень согласия, подтвердив обоснованность вопросов и продемонстрировав, что, хотя вопросы и сложны, они содержат четкие и обоснованные ответы.
• Вопросы, не прошедшие проверку, были пересмотрены или отброшены.
• На каждый вопрос в AA-LCR правильно ответил хотя бы один тестировщик, гарантируя, что все вопросы имеют проверенные решения.

Этот подход подтверждает, что AA-LCR проверяет подлинные способности рассуждения, а не скрытые знания, одновременно признавая присущую сложность задач рассуждения в длинном контексте даже для людей-экспертов.

Технические детали

AA-LCR включает 100 вопросов по 7 типам текстовых документов (т. е. отчеты компаний, отраслевые отчеты, правительственные консультации, академические, юридические, маркетинговые материалы и отчеты об исследованиях). Несколько независимых документов, образующих набор документов общей длиной около 100 тыс. токенов (измеряется с помощью токенизатора cl100k_base), передаются в качестве контекста для каждого вопроса. Например, раздел «Документы компании» включает отдельные наборы документов, содержащие отчеты компаний за 2023 и 2024 годы соответственно.

Каждый вопрос требует использования набора документов и применения общих и математических рассуждений.

Пример вопроса