Индекс поисковых агентов AI Стата: сравнение качества веб-поиска

Индекс поиска искусственного анализа оценивает, как поставщики поисковых API работают по качеству, стоимости и скорости при использовании агентом. Поставщики поисковых API сравниваются по трем тестам, связанным с поиском, в рамках одного и того же пакета и с использованием одной и той же базовой базовой модели. Мы сравниваем эти результаты друг с другом, а также с базовой моделью без инструментов поиска.

Индекс поиска искусственного анализа представляет собой равновзвешенное среднее трех оценок тестов: DeepSearchQA, BrowseComp и AA-Omniscience. Идеальный результат поставщика получает высокие оценки в индексе поиска искусственного анализа, сохраняя при этом низкую задержку и стоимость.

В качестве базового уровня мы запускаем ту же модель GPT-5.6 Luna (средняя) для тех же задач в однократном режиме без инструментов поиска. Базовые результаты можно использовать, чтобы показать, насколько каждый поставщик превосходит одну и ту же модель над своими внутренними знаниями.

Поисковый индекс искусственного анализа

Равновзвешенное среднее значение оценки каждого поставщика API поиска по DeepSearchQA (среднее значение F1), BrowseComp (точность точного ответа) и AA-Omniscience (точность), представленное по шкале от 0 до 100. Для каждого результата используется одна и та же модель ответа кандидата, система и настройки. Единственная переменная — это поставщик API поиска.

Пунктирная линия представляет модель ответов-кандидатов GPT-5.6 Luna (средняя), которая работает без инструментов поиска и считается базовой. Пунктирные столбцы показывают ту же модель со встроенным сторонним инструментом поиска и оборудованием (OpenAI Web Search). См. методологию API поиска для получения полных настроек проводки.

Как работает эталон

Результат каждого поставщика объединяет одного поставщика API поиска с фиксированной моделью-кандидатом, GPT-5.6 Luna (средний). Модель работает внутри Stirrup, нашего агента с открытым исходным кодом, с двумя инструментами: web_search и web_fetch. Инструмент web_search отправляет запрос модели поставщику и возвращает собственные полезные данные ответа поставщика (с режимами контента, стандартизированными для фрагментов), с max_results=10 и отфильтрованными известными источниками загрязнения.

Модель имеет до 25 поворотов для каждого задания. Когда модель решает, что у нее достаточно информации, она вызывает завершение и отправляет окончательный ответ. Наконец, ответ оценивается специалистом по оценке конкретного теста. Если модель использует все 25 ходов без вызова завершения, ответ не отправляется и задача получает нулевую оценку.

Поисковый индекс искусственного анализа

Индекс поиска искусственного анализа объединяет следующие три показателя

DeepSearchQA

Широкие исследовательские вопросы, требующие многократного поиска. Ответы представляют собой списки предметов. Оценщик LLM оценивает каждый ответ баллом F1 по всем пунктам ответа. Полный раздел оценки содержит 900 задач.

Репрезентативный пример

Я выполнил квест «Сокровища пустыни» в Old School Runescape. Можете ли вы перечислить все названия заклинаний, которые я могу использовать для телепортации в пустыню, для которых требуется более четырех рун?

Ответ: Телепорт Дарияка, Телепорт Горрока.

ОбзорКомп

Труднодоступные факты, требующие многократного просмотра. Мы используем жесткое подмножество из 200 образцов из полного пула оценок. Оценщик проверяет точный ответ.

Я ищу название и местоположение структуры, которая соответствует следующим критериям: 1. Расположен в Восточной Австралии. 2. Можно посетить пешком. 3. Был реконструирован в 2016 году. 4. Длина более 50 м. 5. Видно еще одно подобное сооружение. 6. Ежегодно устраивает ужин. 7. Изначально был создан для другого варианта использования, но не использовался в этом варианте использования в течение ряда лет.

Ответ: Пирс Шорнклифф, Брисбен, Австралия.

АА-Всеведение

Частный набор из 600 фактических вопросов, распределенных по 6 областям. Грейдер оценивает точность. Оценка показывает, насколько поиск увеличивает внутренние знания модели.

В рассказе Карен Рассел «Дом святой Люси для девочек, воспитанных волками», из какого места был нанят джаз-бэнд из трех человек для бала дебютанток?

Ответ: Западная Тувумба.

Примеры представляют собой репрезентативные типы проблем, а не выборки из тестов.

Стоимость за задачу: поиск и модель

Общая стоимость задачи складывается из стоимости API поиска и стоимости модели-кандидата. Стоимость API поиска покрывает поисковые вызовы поставщика по его листинговой цене, а стоимость модели-кандидата представляет собой все токены модели, используемые для задачи.

Если поставщик возвращает целевые результаты поиска, это может сократить использование токенов модели, что снижает общую стоимость модели.

Например, при параллельном поиске (расширенном) стоимость поиска за задачу выше, чем при параллельном поиске (базовом): 0,048 доллара США против 0,045 доллара США. Однако его общая стоимость за задачу ниже: 0,084 доллара против 0,11 доллара.

Расширенный уровень возвращает результаты более высокого качества, поэтому модель использует ~169 000 токенов на задачу вместо ~339 000, а стоимость модели снижается с 0,07 до 0,036 доллара США. Разница во времени: 35,9 с на задачу против 20,4 с.

Firecrawl Search показывает другой путь к снижению затрат. Он набирает 73 балла в индексе поиска искусственного анализа при общей стоимости 0,075 доллара США за задачу, чему способствуют цены на основе кредитов (~ 0,03 доллара США стоимости поиска за задачу) и высокое качество результатов. Однако у него самое медленное время выполнения задачи на доске (55,0 с).

Поиск Exa (быстрый) выполняется быстрее на каждый поисковый запрос, чем поиск Exa (авто): 0,91 с против 2,10 с. Однако стоимость каждой задачи выше: 0,16 доллара против 0,13 доллара. На быстром уровне выполняется больше поисков для каждой задачи (11,2 против 9,37), а модель использует больше токенов (~392 000 против ~299 000), поэтому возрастают как стоимость поиска, так и стоимость модели.

Стоимость за задачу

Общая стоимость одной контрольной задачи, разделенная на токены модели ответа-кандидата (входные, кэшированные, рассуждения и выходные данные) и прейскурантную цену поставщика API поиска для поисковых запросов, которые модель выбрала для выполнения. Базовый план только для модели не выполняет поиск, поэтому его стоимость представляет собой только стоимость токена. Стоимость модели может различаться в зависимости от поставщика из-за различий в возвращаемых полезных данных для данного запроса, увеличения количества выполненных поисков (из-за отсутствия правильных результатов), а также увеличения использования токенов рассуждения, когда результаты поиска имеют более низкое качество.

Индекс поиска искусственного анализа в сравнении со стоимостью за задачу

Время на задачу: поиск и модель

Время на задачу суммирует измеренное время поиска и модельное время. В идеальной настройке дополнительная задержка поиска остается низкой. Тем не менее, провайдер, который быстро выполняет поисковой вызов, все равно может увеличить общее время. Это происходит, когда модель должна выполнить больше поисков или создать больше токенов, чтобы получить ответ.

Keenable Search (в реальном времени) имеет самые быстрые поисковые запросы на доске: 0,34 секунды на запрос. Он также имеет самое низкое общее время на выполнение задачи (15,1 с) и набирает 67 баллов в индексе поиска искусственного анализа.

Среди уровней Parallel турбо имеет самую быструю среднюю скорость поисковых вызовов: 0,51 с на запрос против 1,03 с для параллельного поиска (базовый). Но базовый уровень по-прежнему имеет более высокие оценки по качеству: 73 против 67. Турбо-уровень также выполняет больше поисков на задачу (13,6 против 9,03), поэтому эти два уровня близки по общему времени на выполнение задачи: 18,8 с против 20,4 с.

Только базовая модель модели занимает ~ 13,8 с на задачу с нулевым временем поиска. Задачи DeepSearchQA и BrowseComp объясняют этот результат.

Эти задачи подходят для комбинации «модель плюс поиск»: результаты поиска дают контекст модели для ответа.

Например, в задачах BrowseComp без инструментов поиска базовая модель записывает только ~4100 выходных токенов на задачу по сравнению с ~1600–~2900 для результатов поставщика.

Всеведение АА демонстрирует противоположную картину. С помощью инструментов поиска модель считывает и согласовывает источники, а затем записывает примерно в два-три раза больше выходных токенов, чем базовый уровень.

Время на задачу

Сумма модельного времени и времени поиска для одной контрольной задачи. Модельное время получается: количество жетонов ответов и рассуждений на задачу делится на каноническую скорость вывода ответов модели. Время поиска — это измеренное время, потраченное на вызовы web_search. Поставщик может быть быстрым при каждом вызове и при этом добавлять больше общего времени, если модель выполняет поиск по нему чаще.

Для веб-поиска OpenAI время поиска является верхним пределом. Он включает время обработки OpenAI.

Индекс поиска искусственного анализа в зависимости от времени на задачу

Поиск $/1 тыс. и Модель $/1 тыс. — это средняя стоимость 1000 эталонных задач, разбитая на затраты токенов поиска и модели. Базовый план только для модели не выполняет поиск.

Изучите результаты

• Показывает последние результаты поставщиков
• См. страницу методологии для получения полной информации и контрольных констант.
• Поставщики API поиска могут связаться с нами, чтобы включить их в тест.