ChatGPT ошибается в 67% случаев при поиске новостей

Специалисты Центра цифровой журналистики Tow при Колумбийском университете протестировали восемь поисковых систем на базе генеративного искусственного интеллекта и выяснили, что более чем в 60% случаев они дают неверные ответы на запросы, связанные с новостными источниками.

Какие ИИ-поисковики ошибаются чаще всего?

Результаты исследования показали значительную разницу в точности между различными платформами:

• Perplexity продемонстрировал наилучший результат, однако процент ошибок все же составил 37%.
• ChatGPT Search выдавал недостоверную информацию в 67% случаев.
• Grok 3 показал наихудший результат — 94% ответов оказались ошибочными.

При этом вместо признания отсутствия нужных данных системы генерировали убедительно звучащие, но неверные ответы.

Платные версии не гарантируют точность

Ожидалось, что платные версии улучшат результаты, но на практике ситуация оказалась обратной. Perplexity Pro ($20 в месяц) и премиальная версия Grok 3 ($40 в месяц) демонстрировали даже больший процент ошибок, чем бесплатные аналоги. Это ставит под сомнение ценность подписок для пользователей, рассчитывающих на более достоверную информацию.

Обход защиты и фиктивные ссылки

Исследование также выявило, что некоторые ИИ-инструменты обходят защитные механизмы, установленные издателями. Например, бесплатная версия Perplexity смогла корректно идентифицировать 10 фрагментов из материалов National Geographic, находящихся под платным доступом, несмотря на запрет индексации.

Дополнительной проблемой стало создание несуществующих ссылок. Более половины URL-адресов, сгенерированных Google's Gemini и Grok 3, оказались фальшивыми. Из 200 ссылок, предоставленных Grok 3, 154 вели на неработающие страницы, что значительно снижает полезность этих систем.

Этот эксперимент подчеркивает, что на текущем этапе ИИ-поисковики все еще далеки от точности и надежности, особенно при работе с актуальными новостями.