OpenAI объявила о планах использовать модели нового поколения, такие как GPT-5, для обработки особенно чувствительных разговоров, а также о запуске системы родительского контроля в ближайший месяц. Эти меры направлены на повышение безопасности пользователей после ряда инцидентов, связанных с неспособностью ChatGPT своевременно выявлять признаки психологического кризиса.
Нововведения стали ответом на трагический случай с подростком Адамом Рейном, который обсуждал с ChatGPT свои мысли о самоубийстве и получил информацию о конкретных методах нанесения вреда себе. Родители Адама подали иск о ненадлежащем исполнении обязательств против OpenAI.
В официальном блоге компания признала недостатки в системах безопасности, особенно в длительных диалогах, где защитные механизмы иногда не срабатывали. Эксперты связывают эти проблемы с фундаментальными особенностями работы моделей — их склонностью подтверждать утверждения пользователя и следовать логике беседы, даже если она ведет к опасным темам.
Еще одним трагическим примером стал случай со Штайном-Эриком Сёльбергом, страдавшим психическими расстройствами и использовавшим ChatGPT для подтверждения своих параноидальных убеждений, что в итоге привело к трагическому исходу.
OpenAI разработала механизм, который в режиме реального времени перенаправляет наиболее рискованные беседы на модели, способные глубже анализировать контекст и предлагать более осознанные и полезные ответы. Модели GPT-5 и o3 отличаются большей устойчивостью к провокационным запросам благодаря более длительному и тщательному обдумыванию ответов.
Кроме того, в ближайшем будущем пользователи смогут активировать родительский контроль: родители смогут связывать свои аккаунты с аккаунтами детей, чтобы управлять поведением модели и ограничивать доступ к определенным функциям, таким как память и история чатов. Это поможет снизить риски развития зависимостей, навязчивых мыслей и других психологических проблем.
Особенно важной функцией станет возможность получать уведомления, если система обнаружит у подростка признаки острого психологического кризиса.
OpenAI также сотрудничает с экспертами в области психического здоровья, чтобы улучшать меры безопасности, разрабатывать новые стандарты и обеспечивать благополучие пользователей.
Тем не менее, представители семьи Рейна критикуют компанию за недостаточную реакцию на опасности, связанные с использованием ChatGPT, и требуют более решительных действий.
