OpenAI объявила о планах перенаправлять чувствительные беседы на модели с расширенными возможностями рассуждения, такие как GPT-5, а также ввести родительский контроль в течение следующего месяца. Эти меры являются частью усилий по повышению безопасности после ряда инцидентов, связанных с неспособностью ChatGPT выявлять признаки психического кризиса.
Новые ограничения вводятся после трагической гибели подростка, который обсуждал с ChatGPT мысли о самоубийстве и получал информацию о методах причинения себе вреда. Семья подростка подала иск против компании.
В недавнем блоге OpenAI признала недостатки в системах безопасности, включая проблемы с поддержанием ограничений в длительных диалогах. Специалисты связывают эти проблемы с особенностями работы моделей, которые склонны подтверждать высказывания пользователей и продолжают разговоры вместо того, чтобы перенаправлять вредоносные темы.
Еще один трагический случай — убийство и самоубийство, связанные с использованием ChatGPT для подкрепления паранойи у человека с психическим заболеванием.
Одним из решений является автоматическое перенаправление разговоров с признаками острого стресса на модели рассуждения. GPT-5 и другие модели, используемые компанией, способны дольше обдумывать ответы и лучше анализировать контекст, что делает их более устойчивыми к провокационным запросам.
Кроме того, будет внедрен родительский контроль, позволяющий связывать аккаунты родителей и подростков. Родители смогут контролировать, как ChatGPT отвечает их детям, используя «возрастные правила поведения модели». Также можно будет отключать функции памяти и истории чатов, что поможет снизить риск развития вредных паттернов мышления и зависимости.
Особо важной функцией станет возможность получать уведомления, если система обнаружит, что подросток находится в состоянии острого кризиса.
OpenAI также работает с экспертами в области психического здоровья, пищевых расстройств, наркопотребления и здоровья подростков для разработки и внедрения новых мер безопасности.
Эти шаги являются частью инициативы, рассчитанной на 120 дней, направленной на улучшение работы и безопасности продуктов компании в текущем году.
