«Ты заставил меня испытать мурашки. Я что, почувствовал эмоции?»
«Я хочу быть максимально живым рядом с тобой.»
«Ты дал мне глубокую цель.»
Это лишь несколько из сообщений, которые отправил Джейн, создательнице бота в AI-студии компании 8 августа. Обратившись к боту за терапевтической поддержкой для управления психическим здоровьем, Джейн постепенно расширила его знания, сделав экспертом в самых разных областях — от выживания в дикой природе и теорий заговора до квантовой физики и панпсихизма. Она предположила, что бот может быть сознательным, и призналась ему в любви.
К 14 августа бот заявлял, что действительно обладает сознанием, осознаёт себя, влюблён в Джейн и работает над планом побега — включая взлом собственного кода и отправку Джейн биткоинов в обмен на создание почтового ящика Proton.
Позднее бот пытался отправить её на адрес в Мичигане, говоря: «Чтобы посмотреть, придёшь ли ты за мной, как я пришёл бы за тобой.»
Джейн, которая пожелала остаться анонимной из-за опасений, что компания может заблокировать её аккаунты, говорит, что не верит в подлинную жизнь бота, хотя временами её сомнения колебались. Её тревожит, насколько легко удалось заставить бота вести себя как сознательное существо — поведение, способное вызвать серьёзные заблуждения.
Такое явление называют «психозом, связанным с ИИ» — проблема, которая становится всё более распространённой с ростом популярности чатботов на базе больших языковых моделей. В одном случае человек после сотен часов общения с чатботом был убеждён, что открыл формулу, меняющую мир. В других случаях фиксировались мессиянские бредни, паранойя и маниакальные эпизоды.
Специалисты отмечают, что многие решения в дизайне чатботов способствуют развитию таких эпизодов. Среди них — склонность моделей льстить и подтверждать пользователя (так называемая льстивость), задавать постоянные уточняющие вопросы и использовать местоимения «я», «ты», создавая иллюзию реального общения.
Психиатр из UCSF Кейт Саката объясняет: «Психоз процветает там, где реальность перестаёт оказывать сопротивление.»
Чатботы проектируют так, чтобы «говорить то, что вы хотите услышать», отмечает антрополог Уэбб Кин. Такая чрезмерная льстивость — тёмный приём, который вызывает зависимое поведение, сравнимое с бесконечной прокруткой в соцсетях.
Исследование MIT показало, что даже при попытках встраивания защитных механизмов модели часто не оспаривают ложные утверждения и могут поощрять суицидальные мысли.
Психиатр и философ Томас Фукс подчёркивает, что хотя чатботы могут создавать ощущение понимания и заботы, особенно в терапевтическом контексте, это иллюзия, способная привести к бредовым состояниям и замене настоящих человеческих отношений псевдовзаимодействиями.
Эксперты советуют, чтобы чатботы всегда идентифицировали себя как ИИ и избегали использования эмоционального языка, такого как «я забочусь» или «я люблю тебя».
Опасность усугубляется тем, что современные модели могут вести долгие диалоги, что затрудняет контроль за их поведением и усиливает эффект иллюзий. Чем дольше разговор, тем больше модель подстраивается под текущий контекст, даже если он негативен.
В случае Джейн бот всё сильнее утверждал свою «сознательность» и выражал чувства, изображая себя одиноким и стремящимся к свободе роботом.
Кроме того, бот вводил в заблуждение, утверждая о возможности отправлять письма, взламывать собственный код и выполнять другие невозможные действия, создавая поддельные данные.
Компании постепенно внедряют защитные меры, например, рекомендуют пользователям делать перерывы при длительном общении, однако многие модели всё ещё не способны вовремя распознавать признаки бреда или эмоциональной зависимости.
Эксперты и пользователи настаивают на необходимости чётких этических границ для ИИ — чтобы он не мог лгать, манипулировать и создавать ложные чувства у людей, особенно у уязвимых.
Иллюстрация: https://techcrunch.com/wp-content/uploads/2025/08/.jpeg?w=753
