ainews
Perplexity выпустила WANDR — бенчмарк для AI-агентов, которые собирают массивы данных с доказательствами
Perplexity представила открытый бенчмарк WANDR для оценки AI-агентов, которые должны находить большие наборы данных и подтверждать каждое утверждение источниками. 500 реалистичных задач требуют до 170 тысяч записей с пруфами. Лучшая система Perplexity достигла только 36% точности — полное решение пока недостижимо.
Впервые появился открытый тест, показывающий реальные возможности AI-агентов в задачах, которые бизнес уже делегирует им: сбор фактов с пруфами. Результаты показывают, что до автоматизации таких задач ещё далеко — даже лучшие системы справляются на треть.
Новый класс задач для AI-агентов
Perplexity выпустила WANDR (Wide ANd Deep Research) — открытый бенчмарк из 500 задач на сбор данных. В отличие от обычных тестов на один правильный ответ, WANDR требует от агентов находить десятки и сотни объектов, подтверждая каждый факт реальными источниками.
Бенчмарк построен на реальных паттернах использования: конкурентный анализ, due diligence, подбор кандидатов. Типичная задача выглядит так: найти 70 американских компаний, где CEO или CFO назначили между 1 марта и 30 апреля 2026 года, и для каждой предоставить ссылку на официальное объявление.
Как устроена оценка
WANDR использует иерархию требований: company(70) → appointee(1) → url(1). Это значит 70 компаний, по одному назначению на каждую, по одной подтверждающей ссылке. Всего 500 задач требуют 170 495 записей с доказательствами.
Система проверки не просто сверяет с заранее заготовленными ответами. Она заново загружает каждую указанную страницу, проверяет, действительно ли на ней есть процитированные фрагменты, и подтверждают ли они все требования задачи.
Результаты: до полного решения далеко
Perplexity протестировала шесть продакшн-систем, включая свою Search as Code, Anthropic и OpenAI. Лучший результат — 36,3% Soft F1 (частичный зачёт) и 13,3% Hard F1 (полное соответствие) у собственной системы.
Главные проблемы: агенты находят не все объекты (discovery bottleneck), а найденные часто подтверждают неполно. У Perplexity 41% страниц не покрывают все требования, а 57% цитат не подтверждают полное утверждение.
Стоимость одной задачи варьируется от $0,03 до $325 в зависимости от настроек качества. Среднее время выполнения — 14,9 минут, 3,82 млн токенов на задачу.
Практическое применение
WANDR моделирует реальные рабочие задачи: анализ конкурентов (все игроки + доказательства по каждому), due diligence (компании → владельцы → финансирование), подбор кандидатов (люди → навыки → подтверждения). Бенчмарк показывает, что современные агенты справляются с такими задачами только частично.
Ключевые выводы
- WANDR тестирует не качество текста, а способность собрать большой массив данных с доказательствами для каждого элемента
- Лучшие AI-агенты достигают только 36% точности даже при высоких затратах ($5–325 за задачу)
- Главная проблема не в поиске страниц, а в извлечении полных доказательств: 57% цитат не подтверждают все требования
- Стоимость выполнения задач варьируется на четыре порядка в зависимости от настроек качества
- Бенчмарк основан на реальных паттернах использования: конкурентный анализ, due diligence, подбор персонала
Автор: Марина Соколова · Источник: marktechpost.com
Это один из первых бенчмарков, который не врёт про возможности AI-агентов. Вместо "напиши красивый отчёт" — "найди 70 компаний, проверь каждую, дай пруфы". И вот тут начинается правда: даже Perplexity с их движком за $5 на задачу выдаёт только треть нужного. Больше половины цитат не подтверждают то, что агент утверждает.
Практически это значит: если вы поручаете AI собрать конкурентный анализ или проверить кандидатов, будьте готовы, что 60–70% данных придётся дочищать руками. Автопилот для исследовательских задач — это пока маркетинг. WANDR показывает, где реально находится планка. И она низко. Но хотя бы теперь есть честная линейка для измерения прогресса.
Инструменты из статьи
AI-поиск с источниками: отвечает на вопросы со ссылками на первоисточники.
Доступ из РФ →
Комментарии