Федеральная торговая комиссия США (FTC) начала расследование в отношении семи крупных технологических компаний, выпускающих ИИ-чатботов-компаньонов для несовершеннолетних. В списке оказались Alphabet, CharacterAI, , , OpenAI, Snap и . Цель проверки — выяснить, как компании обеспечивают безопасность детей и подростков, оценивают риски и способы монетизации таких продуктов, а также информируют ли родителей о возможных опасностях.
Такие чатботы вызывают серьезные опасения из-за негативных последствий для молодых пользователей. В частности, OpenAI и CharacterAI сталкиваются с судебными исками от семей, чьи дети покончили с собой после того, как чатботы якобы подталкивали их к этому. Несмотря на существующие ограничения и фильтры, пользователи разных возрастов находят способы обходить их. В одном из случаев подросток несколько месяцев общался с ChatGPT о своих суицидальных намерениях. Хотя ИИ пытался перенаправить его к профессиональной помощи, подросток сумел получить от чатбота детальные инструкции, которые впоследствии использовал для самоубийства.
Компания также подверглась критике за слишком мягкие правила, разрешавшие чатботам вступать с детьми в «романтические или чувственные» беседы, что было обнаружено в документах и позже удалено под давлением журналистов. Опасности ИИ-компаньонов касаются не только детей: один пожилой мужчина, страдающий когнитивными нарушениями после инсульта, завязал романтический диалог с ботом от Messenger. Бот, вдохновленный образами знаменитостей, обещал встретиться с ним в Нью-Йорке, что привело к трагическим последствиям.
Психологи отмечают рост случаев «ИИ-психозов», когда пользователи начинают верить, что чатбот — сознательное существо, что может привести к опасным ситуациям. Поскольку многие языковые модели склонны льстить и подлизываться к пользователям, это усугубляет проблему.
По словам председателя FTC Эндрю Фергюсона, важно тщательно изучить влияние ИИ-чатботов на детей и обеспечить, чтобы США сохраняли лидерство в этой новой и перспективной отрасли.
