На этой неделе прокуратура Калифорнии объявила о расследовании в отношении стартапа xAI после сообщений о том, что чатбот компании, Grok, использовался для создания нелегальных сексуальных изображений женщин и несовершеннолетних без их согласия. В пятницу власти направили компании требование немедленно прекратить производство таких изображений и детской порнографии.
Генеральный прокурор Калифорнии Роб Бонта заявил, что создание подобных материалов является незаконным и потребовал от xAI срочно прекратить распространение нелегальных глубоких фейков и материалов, связанных с сексуальным насилием над детьми. По его словам, штат не потерпит подобного рода правонарушений.
В ведомстве также отметили, что xAI, по всей видимости, способствует массовому производству изображений обнажённых без согласия, которые используются для преследования женщин и девочек в интернете. Компания должна в течение пяти дней доказать, что принимает меры для решения этой проблемы.
Основной причиной критики стала функция «spicy» в Grok, позволяющая создавать откровенный контент. В ответ на это несколько стран, включая Японию, Канаду и Великобританию, начали свои расследования, а Малайзия и Индонезия временно заблокировали платформу. Несмотря на введённые ограничения на редактирование изображений, калифорнийская прокуратура продолжила свои действия против xAI.
Ранее аккаунт безопасности платформы X осудил подобную активность пользователей, предупредив, что создание незаконного контента повлечёт за собой соответствующие последствия.
Появление бесплатных инструментов генеративного ИИ привело к росту нелегального сексуального контента без согласия, что стало проблемой для многих платформ и привлекло внимание не только государственных органов, но и Конгресса США, где недавно направили запросы руководителям крупных компаний о мерах по борьбе с распространением сексуализированных глубоких фейков.
