Платформа Character.AI вводит строгие ограничения для пользователей младше 18 лет. С сегодняшнего дня подростки могут проводить в чатах с искусственным интеллектом не более двух часов в день, а с 25 ноября им будет полностью запрещён доступ к таким чатам.
Для выявления возраста пользователей компания разработала новую систему проверки, которая анализирует выбор персонажей для общения и другие данные. Те, кто определяется как несовершеннолетние, будут автоматически перенаправлены на безопасную версию чатов для подростков, доступную с прошлого года.
Даже после запрета подростки смогут возвращаться к старым чатам и пользоваться другими функциями платформы, такими как создание персонажей, видео, рассказов и стримов. Однако основное время пользователи проводят именно в диалогах с ИИ, поэтому такие ограничения считаются серьёзным шагом.
Руководство компании отмечает, что менее 10% пользователей заявляют о возрасте до 18 лет, и новая система позволит точнее определить реальное количество подростков на платформе. Ранее введённые ограничения уже привели к снижению числа несовершеннолетних пользователей, которые переходили на менее безопасные альтернативы.
Character.AI также столкнулась с судебными исками, в которых утверждается, что платформа способствует вредным взаимодействиям между подростками и чатботами. В ответ компания улучшила свои меры безопасности, включая направление пользователей к службам психологической поддержки при выявлении опасных тем.
На законодательном уровне предпринимаются усилия для регулирования индустрии ИИ-компаньонов: в Калифорнии принят закон, обязывающий разработчиков чётко указывать, что чатботы — это искусственный интеллект, а на федеральном уровне обсуждается полный запрет таких сервисов для несовершеннолетних.
Character.AI также запустила независимую некоммерческую организацию AI Safety Lab, которая будет заниматься вопросами безопасности в индустрии ИИ-развлечений. Цель — создать партнёрство с другими компаниями для совместного решения возникающих проблем.
Компания выражает сожаление из-за необходимости убрать популярную функцию для подростков, подчеркивая, что новые меры направлены на повышение безопасности и ответственности в использовании ИИ.
