Perplexity AI представляет открытый бенчмарк WANDR для оценки исследовательских агентов

Perplexity AI представила открытый бенчмарк WANDR (Wide ANd Deep Research) для оценки исследовательских агентов. Бенчмарк включает 500 задач на сбор данных с подтверждающими источниками, основанных на реальных сценариях использования. В отличие от традиционных тестов, WANDR проверяет способность агента одновременно выполнять широкий поиск (обнаружение большого набора релевантных сущностей) и глубокий анализ (проверку каждой сущности с предоставлением доказательств). Задачи организованы в виде иерархии квалификационных ключей, где каждый полный путь проверяется независимо. Например, одна из задач требует найти не менее 70 компаний из США, в которых назначение CEO или CFO было объявлено в период с 1 марта по 30 апреля 2026 года, и для каждой компании предоставить ссылку на официальное объявление — всего 140 записей с источниками. Оценка выполняется без эталонных ответов: система-оценщик заново загружает каждую указанную страницу и проверяет, что извлеченные фрагменты действительно поддерживают заявленные утверждения. Perplexity протестировала шесть продуктовых систем на всех 500 задачах. Лидирует собственная система Search as Code (SaC) с показателями Soft F1=0,363 и Hard F1=0,133. Средняя стоимость задачи для SaC составила $5,20, медианное время — 14,9 минуты, потребление токенов — 3,82 млн на задачу. Ближайший конкурент Anthropic показал Soft F1=0,249, но с большими затратами времени и ресурсов. Четыре ключевых вывода: частичный прогресс распространен, но полное покрытие отсутствует; масштабирование задач резко снижает результат; основным узким местом является этап обнаружения сущностей; поиск подходящей страницы обычно прост, а вот превращение ее в полное доказательство — сложная задача (у Perplexity 41,4% страниц не удовлетворяют хотя бы одному требованию, а 57,5% извлеченных фрагментов не подтверждают утверждение полностью). Бенчмарк WANDR доступен как открытый проект.