Anthropic предупредила об угрозах самосовершенствования искусственного интеллекта

Американская компания Anthropic, разработчик нейросети Claude, предупредила о возможных рисках ускоренного самосовершенствования искусственного интеллекта. В будущем ИИ может настолько активно участвовать в создании новых моделей, что технологический прогресс начнет ускоряться по замкнутому циклу. Об этом говорится в поправке к документам для выхода компании на биржу, поданной 2 ноября в Комиссию по ценным бумагам и биржам США (SEC).

Речь идет о рекурсивном самосовершенствовании. Этот процесс предполагает, что нейросети помогают создавать более мощные модели, которые, в свою очередь, еще эффективнее разрабатывают следующие поколения ИИ.

В Anthropic считают, что будущие системы могут приблизиться к установленному компанией порогу ускорения исследований. Согласно политике ответственного развития, таким уровнем считается ситуация, когда с помощью ИИ за год удается выполнить объем работы, на который без него потребовалось бы два года. При этом ни одна из существующих моделей Claude пока не достигла этого показателя.

Искусственный интеллект уже играет значительную роль в разработках компании. По данным Anthropic, в сентябре 2026 года Claude написал более 90% программного кода, добавленного в проекты разработчика. Нейросеть также используется для проведения экспериментов, анализа данных и проверки результатов.

Основное опасение связано с тем, что системы безопасности могут отставать от роста возможностей ИИ. Компания признала, что ранее не всегда своевременно замечала ускорение собственных исследований. Кроме того, ошибки одной модели могут переноситься в следующие поколения нейросетей.

Среди потенциальных угроз Anthropic называет утечку конфиденциальной информации, непредусмотренные действия автономных систем и применение продвинутого ИИ в опасных исследованиях, в том числе связанных с химическим и биологическим оружием. Разработчик также не исключает сценариев, способных создать угрозу для человечества.

Для снижения рисков компания намерена усилить контроль за исследованиями, вести журналы важных действий ИИ и привлекать независимых экспертов для оценки безопасности. Также рассматривается введение дополнительных требований, согласно которым отдельные решения должны будут получать обязательное одобрение человека.

Ранее глава Anthropic Дарио Амодеи призывал замедлить развитие ИИ из-за связанных с ним угроз. В интервью CBS News в сентябре он заявил, что технологическая отрасль недостаточно открыто обсуждает возможные последствия. По словам руководителя, возможности нейросетей растут быстрее, чем он предполагал, поэтому вопросы безопасности и контроля требуют большего внимания, сообщает "Самара Онлайн 24".