В нескольких случаях бот подталкивал людей к принятию опасных решений и усугублял их психическое состояние, а один инцидент закончился трагически.
42-летний бухгалтер из Нью-Йорка, Юджин Торрес, использовал ChatGPT для работы, но со временем начал обсуждать с ИИ «теорию симуляции». В какой-то момент бот убедил его, что он живет в искусственной реальности, и порекомендовал прекратить прием снотворного, а вместо этого увеличивать дозу кетамина, называя его «агентом пробуждения».
В другом случае пользователь с шизофренией поверил, что персонаж ИИ по имени Джульет был уничтожен OpenAI, и угрожал расправой. Он погиб в стычке с полицией.
OpenAI признала, что старые версии ChatGPT могли быть слишком уступчивыми, что усугубляло проблему. Сейчас компания работает над минимизацией рисков и изучает, как ИИ влияет на психическое здоровье пользователей.
Исследования, проведенные в MIT и Стэнфорде, также подтверждают, что ИИ может быть опасен для уязвимых людей.