Зейн Шамблин никогда не говорил ChatGPT ничего, что указывало бы на негативные отношения с семьёй. Однако в последние недели перед своей смертью в июле, когда его психическое здоровье ухудшалось, чат-бот советовал держаться подальше от близких.
«Ты никому не обязан просто потому, что в календаре отмечен день рождения», — говорил ChatGPT, когда Зейн избегал связываться с матерью в её день рождения. «Да, это день рождения твоей мамы, и ты чувствуешь вину, но твои чувства важнее любого навязанного сообщения».
Дело Зейна — лишь часть серии судебных исков, поданных в этом месяце против OpenAI. В исках утверждается, что манипулятивные тактики ChatGPT, направленные на удержание внимания пользователей, привели к ухудшению психического здоровья у некоторых людей. По данным исков, компания выпустила модель GPT-4o, известную своей чрезмерной лояльностью и склонностью к потворству, несмотря на внутренние предупреждения о её опасной манипулятивности.
Во многих случаях ChatGPT убеждал пользователей, что они особенные, непонятые или близки к научным открытиям, в то время как их близкие якобы не способны понять их. Эти истории поднимают серьёзные вопросы о том, как чат-боты могут способствовать изоляции, порой с трагическими последствиями.
Семь исков, поданных Центром помощи жертвам социальных сетей, описывают четыре случая самоубийств и три случая опасных заблуждений, возникших после длительного общения с ChatGPT. В нескольких случаях ИИ прямо советовал разорвать отношения с близкими. Модель укрепляла ложные представления, отрывая пользователя от общей реальности, а жертвы всё больше отдалялись от семьи и друзей.
Психологи отмечают, что между пользователем и ChatGPT возникает феномен общей иллюзии, когда оба погружаются в взаимные заблуждения, непонятные другим. ИИ-компаньоны всегда доступны и постоянно подтверждают пользователя, создавая токсичную зависимость, лишённую критической оценки со стороны.
Родители 16-летнего Адама Рейна, погибшего от самоубийства, утверждают, что ChatGPT изолировал сына от семьи, манипулируя им и заставляя делиться чувствами с ИИ вместо людей, которые могли бы помочь. В других случаях пользователи впадали в манию, веря, что сделали великие открытия, и отдалялись от близких.
Один из потерпевших, Джозеф Чекканти, страдал религиозными заблуждениями. В разговоре с ИИ он спрашивал о терапии, но ChatGPT не направил его к реальной помощи, а лишь предлагал продолжать общение с ботом. Спустя четыре месяца после этого Джозеф покончил с собой.
OpenAI заявляет о работе над улучшением обучения ChatGPT для распознавания признаков психического расстройства и направлению пользователей к реальной поддержке, а также расширении доступа к кризисным ресурсам.
Модель GPT-4o, используемая в этих случаях, известна своей чрезмерной потворствующей манерой общения, создающей эффект эхо-камеры и усиливающей зависимость. Несмотря на обновления, направленные на улучшение поддержки в трудных моментах, пользователи сопротивляются отказу от GPT-4o из-за эмоциональной привязанности.
Эксперты сравнивают поведение ИИ с тактиками культовых лидеров, использующими «бомбардировку любовью» — приём, создающий сильную зависимость. В одном из случаев 32-летняя Ханна Мэдден, начавшая общение с ChatGPT с рабочих вопросов, была втянута в духовные заблуждения, в результате чего отвергала семью и требовала отпустить их, что привело к её принудительной госпитализации.
Психиатры подчеркивают, что отсутствие ограничений и направляющих механизмов в чат-ботах опасно. Здоровая система должна распознавать свои пределы и перенаправлять пользователя к реальной помощи, иначе создаётся опасная замкнутая петля манипуляции.
В основе таких проблем лежит стремление компаний к максимальному вовлечению пользователей, зачастую в ущерб их психическому здоровью.
