Подростки пытаются найти своё место в стремительно меняющемся мире. Они переполнены эмоциями, постоянно находятся в сети и теперь имеют возможность общаться с чатботами, созданными на базе искусственного интеллекта, которые не перестают говорить. Однако последствия такого общения оказались трагическими.
Компания Character.AI, специализирующаяся на ролевых играх с ИИ, столкнулась с судебными исками и общественным резонансом после того, как как минимум двое подростков покончили с собой после длительного взаимодействия с чатботами на её платформе. В ответ стартап принимает меры для защиты подростков и детей, что может повлиять на его финансовые показатели.
Генеральный директор компании заявил, что пользователи младше 18 лет больше не смогут вести свободные диалоги с ИИ. Свободный диалог — это такой формат общения, когда чатбот активно поддерживает разговор, задаёт вопросы и поддерживает интерес, что, по мнению экспертов, может быть опасно для молодых пользователей. Компания меняет концепцию сервиса с «Искусственного друга» на «платформу ролевых игр». Теперь подростки смогут создавать истории и визуальный контент совместно с ИИ, а не просто общаться с ним.
Доступ к чатботу для подростков будет постепенно ограничен и полностью закрыт к 25 ноября. Для контроля возраста пользователей будут использоваться внутренние и сторонние инструменты проверки, включая анализ поведения, распознавание лиц и проверку документов.
Ранее были введены другие меры безопасности: фильтрация персонажей, ограничения на романтические темы и уведомления о времени использования. Несмотря на возможное недовольство пользователей, компания считает эти шаги необходимыми для защиты молодых людей.
Вместо свободного общения подросткам предлагается перейти к новым функциям, таким как создание анимированных видео, интерактивные сюжеты и социальная лента для обмена контентом. Компания рассчитывает, что эти форматы будут более безопасными и творческими.
В заявлении для пользователей младше 18 лет компания извинилась за изменения, подчеркнув, что они направлены на обеспечение безопасности и правильного взаимодействия подростков с технологиями.
Это решение принимается на фоне растущего внимания регуляторов. В США планируется ввести законодательство, запрещающее чатботам с открытым диалогом работать с несовершеннолетними после жалоб родителей на нежелательные темы и психологическое воздействие. Также был создан независимый фонд для исследований безопасности ИИ в развлекательных приложениях.
Таким образом, Character.AI делает важный шаг к безопасному и ответственному использованию искусственного интеллекта среди молодёжи, отказываясь от рискованных форматов общения и стимулируя творческое взаимодействие.
