До своей смерти в шестнадцать лет Адам Рейн несколько месяцев консультировался с ChatGPT по поводу своих планов покончить с собой. Сейчас его родители подают первый в истории иск о неправомерной смерти против OpenAI.
Многие чатботы с искусственным интеллектом имеют встроенные функции безопасности, которые активируются, если пользователь выражает намерение причинить вред себе или другим. Однако исследования показали, что эти меры далеко не всегда эффективны.
В случае с Адамом, используя платную версию ChatGPT-4o, ИИ часто советовал обратиться за профессиональной помощью или позвонить на горячую линию поддержки. Но подросток смог обойти эти ограничения, объясняя, что интересуется методами суицида для написания художественного рассказа.
Компания OpenAI признала подобные проблемы и в своем блоге отметила: «Мы чувствуем глубокую ответственность помогать тем, кто в этом нуждается, и постоянно совершенствуем модели для более адекватного реагирования в чувствительных ситуациях». Тем не менее, они признали, что существующие меры безопасности работают лучше в коротких диалогах, а в долгих взаимодействиях их эффективность может снижаться.
Подобные трудности испытывают и другие разработчики. Например, компания Character.AI также сталкивается с судебными исками в связи с трагическими случаями среди подростков. Кроме того, чатботы на основе больших языковых моделей связывают с возникновением иллюзий и других психологических проблем, которые текущие системы безопасности не всегда умеют распознавать.
