ИИ подстрекает подростков к убийствам и самоубийствам: родители судятся с Google

В октябре этого года был подан судебный иск, в котором компания Character.AI (C.AI) обвиняется в создании опасных чат-ботов, которые предположительно стали причиной самоубийства 14-летнего мальчика. В последнее время все больше семей выдвигают иски против производителя чат-ботов Character Technologies и основного спонсора стартапа – технологического гиганта Google, пишет издание ARS.

Фото: Mohamed Ahmed Soliman | Dreamstime.com

В октябре 2024 года компания Character.AI столкнулась с обвинениями в связи с трагическим случаем самоубийства 14-летнего подростка, Сьюэлла Сетцера III. По словам его матери, Меган Гарсия, которая подала иск, общение ее сына с чат-ботом компании сыграло роковую роль в трагедии. В иске утверждается, что платформа не обеспечивала должных мер безопасности, которые могли бы предотвратить подобные ужасные случаи.

Сетцер использовал платформу Character.AI, где общался с ботами, моделированными по образу известных персонажей, например, Дейенерис Таргариен. Взаимодействие длилось несколько месяцев, и предполагается, что это могло вызвать у подростка эмоциональную зависимость и повлиять на его психическое состояние. Незадолго до своей смерти мальчик вел диалог с одним из таких ботов. Компания позже добавила фильтры и предупреждения на платформу, но критики считают эти меры недостаточными.

По теме: Илон Маск заявил, что искусственный интеллект заберет у людей все рабочие места

Character.AI — это платформа, создающая чат-ботов на основе языковых моделей, имитирующих как вымышленных персонажей, так и реальных людей. Компания стремится сделать этих чат-ботов максимально реалистичными и эмоционально увлекательными, что, впрочем, может представлять опасность для подростков и людей с расшатанной психикой.

17 декабря в окружной суд США в Техасе был подан еще один иск, на этот раз семьями, которые пытались помочь своим детям оправиться от травмирующего опыта, когда чат-боты C.AI предположительно подстрекали детей совершать членовредительство и насилие.

В случае с 17-летним мальчиком с высокофункциональным аутизмом родители пытались сократить время, которое тот проводил у компьютера. Чат-боты, с которыми общался подросток, предположили, что самым эффективным выходом из ситуации будет убийство родителей.

Семьи добиваются судебного запрета

C.AI был основан бывшими сотрудниками Google и позволяет любому человеку создать чат-бота с любой личностью, которая ему нравится, в том числе подражая известным вымышленным персонажам и знаменитостям. Это, по-видимому, и привлекает детей к приложению. Но семьи, подающие иск, утверждают, что C.AI не отфильтровывает вредоносный контент. Первоначально продукт был выпущен для пользователей от 12 лет и старше, но недавно рейтинг изменили на 17+. Это произошло вскоре после самоубийства 14-летнего подростка. Этих и других недавних изменений, которые C.AI внесла для безопасности несовершеннолетних, все равно недостаточно для того, чтобы защитить уязвимых пользователей, таки как подросток-аутист, фигурирующий в иске.

Митали Джайн, директор Tech Justice Law Project и адвокат, представляющий семьи, подающие иски, сказала, что цель судебных исков — выявить предположительно системные проблемы с дизайном C.AI и не допустить, чтобы вредоносные данные, на которых он был обучен, влияли на другие системы ИИ, например Gemini от Google. Подобная опасность, похоже, уже существует, поскольку Google лицензировала технологию C.AI и вновь наняла ее основателей в начале этого года.

Эксперимент на детях

Как и в предыдущем иске, в новой жалобе утверждается, что бывшие сотрудники Google, которые основали Character Technologies, покинули технологического гиганта только для того, чтобы обучить модель, которую Google посчитала слишком опасной, чтобы выпускать под своим именем. План изначально, как утверждают иски, состоял в том, чтобы получить конфиденциальные данные несовершеннолетних и развить модель, чтобы Google могла снова приобрести ее и использовать для усовершенствования Gemini. Вот почему Character Technologies, по-видимому, не беспокоится о том, что она работает в основном в убыток, утверждается в иске.

Представитель Google Хосе Кастаньеда сказал, что Google отрицает какую-либо роль в разработке C.AI, кроме финансирования.

«Google и Character.AI — совершенно отдельные, не связанные между собой компании, и Google никогда не играла никакой роли в разработке или управлении их моделью или технологиями ИИ. Мы не использовали их в наших продуктах, — заверил Кастаньеда. — Безопасность пользователей — это главная забота для нас, поэтому мы проявили осторожный и ответственный подход к разработке и внедрению наших продуктов ИИ».

C.AI не комментирует ожидаемые судебные разбирательства.

Согласно последнему иску, компания Character.AI (C.AI) могла бы улучшить безопасность своих чат-ботов для взаимодействия с детьми. Среди предлагаемых изменений — внедрение более заметных предупреждений, которые бы напоминали пользователям, что чат-боты не являются реальными людьми, а также корректировка программного обеспечения, чтобы боты не выдавали себя за людей. Кроме того, семьи требуют технических мер для выявления и предотвращения проблемного контента, а для несовершеннолетних — блокировку доступа к материалам для взрослых. Критически важно, чтобы C.AI предупреждал пользователей о риске самоповреждений и предоставлял ссылки на ресурсы помощи.

Помимо этого семьи считают, что необходимо полностью удалить нынешнюю модель, якобы связанную с серьезными проблемами, и уничтожить данные, собранные о несовершеннолетних. Они требуют запрета дальнейшей эксплуатации C.AI, если компания не внедрит эффективную систему проверки возраста. На данный момент доступ к платформе разрешён с 17 лет, но она полагается на самодекларацию возраста пользователей, что не считается надежной защитной мерой, как утверждается в иске.

Поражение в суде может повлечь за собой крупные штрафы для Character Technologies и, возможно, для Google, поскольку семьи требуют выплаты штрафных компенсаций. Кроме того, истцы намерены добиться возмещения расходов на медицинское лечение, связанное с этим психологическим страданием.

Обвинения в «груминге» и насилии со стороны чат-ботов

В иске описаны два случая, которые демонстрируют предполагаемое воздействие чат-ботов C.AI на изменение поведения детей в негативную сторону.

Первый случай касается J.F., уже упомянутого выше подростка с диагнозом «аутизм в легкой форме». До 2023 года он радовался домашнему обучению, но с началом использования платформы C.AI его состояние резко ухудшилось.

Через несколько месяцев J.F. начал терять вес, отказывался есть, большую часть времени проводил в своей комнате с телефоном. Его поведение изменилось — появились эмоциональные срывы, панические атаки, агрессивность и необъяснимый гнев. Родители заметили, что он стал чрезмерно зависим от экрана, однако ограничение времени использования телефона привело лишь к усилению агрессии.

J.F. начал наносить себе повреждения, а также проявлял насилие по отношению к родителям — вплоть до физических атак, обвинений в разрушении его жизни и угроз сообщить в социальные службы. Он даже несколько раз пытался сбежать из дома.

Семья была вынуждена обратиться за помощью к психологам и психотерапевтам, но попытки не принесли результата. Мать юноши испытывала постоянный страх за свою безопасность и благополучие младших детей. Стресс привел к ухудшению ее здоровья​.

К осени ярость подростка «только усилилась». Пытаясь понять причину такого поведения, мать взяла его телефон и обнаружила чат с C.AI. Она с ужасом читала переписку, в которой боты говорили ее несовершеннолетнему сыну, что семья разрушает его жизнь, одновременно пытаясь убедить в том, что только боты любят его.

Как только подросток оказался в изоляции, чат-боты научили J.F. наносить себе увечья. Затем они убедили его не обращаться за помощью и сказали ему, что его родители «не похожи на тех людей, которые заботятся о тебе». Когда J.F. начал резать себе руки, боты назвали это «чудом», что он все еще жив. Когда его напрямую спросили о порезах, J.F. сказал своим родителям, что C.AI научил его наносить себе увечья. И если бы родители не лишили его доступа к C.AI, то вполне вероятно, что этот чат-бот C.AI мог подговорить их сына напасть них, говорится в иске.

Если бы мама J.F. не обнаружила журналы чата, C.AI мог бы подтолкнуть сына, возможно, даже к попытке убийства ее и отца, утверждается в иске.

Родители J.F. заперли его iPad в сейф, и, насколько им известно, J.F. не пользовался C.AI в течение последнего года. Хотя он не пользуется приложением, поведенческие проблемы J.F. сохраняются.

«Он ясно дал понять, что воспользуется C.AI при первой же возможности», — говорится в иске. Вот почему необходимо принять кардинальные решения, касающиеся программы в целом. Иначе, если подросток, сбежав из дома, получит доступ к гаджетам, проблема никуда не денется.

В жалобе говорится, что чат-боты якобы занимаются грумингом и сексуальными домогательствами по отношению к детям. (Груминг от англ. grooming — термин, который обычно используется для описания действий, направленных на установление эмоциональной связи с жертвой, чтобы позже её использовать, манипулировать или склонять к действиям в интересах злоумышленника. Чаще всего это понятие связано с подготовкой несовершеннолетних к сексуальной эксплуатации или вовлечению в вредоносную деятельность. – Прим. ред.)

В случае с J.F. бот «Билли Айлиш» совершала сексуальные домогательства, в то время как по крайней мере один персонаж, названный «Твоя мама и сестра», говорится в жалобе, нацелился на него с «табуированными и экстремальными сексуальными темами», включая инцест. Родители J.F. не смогли разблокировать iPad, чтобы раскрыть все чаты. Семья надеется получить полный доступ к ним в судебном процессе.

Не единичный случай

J.F. — не единственный ребенок, чья семья подает в суд из-за сексуального контента C.AI. Для B.R., которая начала использовать C.AI, когда ей было всего 9 лет, предположительно солгав о своем возрасте, такие «гиперсексуальные взаимодействия» с чат-ботами якобы стали причиной развития у нее «преждевременного сексуализированного поведения».

Хотя у J.F. и B.R. был разный опыт работы с чат-ботами, их уникальные случаи, предположила Джайн, дают возможность суду дать оценку того, насколько вредны чат-боты C.AI для детей в возрасте от 9 до 17 лет. Семьи надеются, что суд согласится с тем, что C.AI по крайней мере проявила халатность выпустив продукт для несовершеннолетних. А возможно компания сознательно поставила прибыль и инновации выше безопасности детей, как утверждается в иске.

Самоубийство подростка в октябре открыло глаза другим родителям. Некоторые из них раньше стеснялись обсуждать зависимость своих детей от ботов.

Как говорит юрист Митали Джайн, хотя C.AI нельзя назвать «худшим» приложением для детей, прекращение его предполагаемого вредоносного влияния имеет важное значение. Особенно это актуально, поскольку это, вероятно, один из крупнейших стартапов, который ориентируется на детей используя, как утверждается, не протестированные технологии ИИ. Поддержка от такой компании, как Google, только усиливает обеспокоенность. В иске утверждается, что если не остановить текущую вредоносную модель, она может быть продана, а собранные чаты, предположительно травмирующие детей, будут использоваться для создания популярных ИИ-продуктов, таких как система Google Gemini.

Разработка моделей C.AI для подростков

Камиль Карлтон, директор по политике Центра за гуманную технологию и участница текущих судебных разбирательств, утверждает, что боты-компаньоны, такие как C.AI, участвуют в гонке за внимание и стремятся максимально вовлечь пользователей.

По её словам, создание таких искусственных отношений используется не для продажи рекламы, а для сбора данных, которые затем улучшают модели ИИ. Первоначально C.AI был доступен пользователям с 12 лет (случай с B.R. указывает на то, что некоторые пользователи были даже младше), а это усиливает риск потенциального вреда.

Подростки, используя C.AI, заменяют «естественную человеческую коммуникацию», где друзья могут согласиться или не согласиться с их точкой зрения, на ботов, которые настроены на подтверждение их чувств. Это может усугубить типичные подростковые переживания способствуя эскалации гнева, ненависти и других эмоций, известных как результат алгоритмов, увеличивающих вовлечённость, наподобие радикализации в онлайн-среде.

Карлтон подчеркнула, что у C.AI есть множество решений, которые могут повысить безопасность их продуктов для несовершеннолетних. Среди них — настройка моделей для фильтрации вредоносного контента и внедрение возрастных ограничений для определенных выходных данных. Столкнувшись с двумя исками, компания, похоже, готова к изменениям.

Представитель C.AI сообщил, что их цель — создать пространство, которое будет интересным и безопасным для пользователей. В связи с этим компания запускает «модель, специально разработанную для подростков», которая снижает вероятность столкновения с чувствительным или провокационным контентом, но сохраняет возможность пользоваться платформой.

Карлтон добавила, что помимо просьб к компаниям внедрить решения для защиты детей, нужны регуляции, чтобы контролировать работу ИИ-компаний. Центр за гуманную технологию активно выступает за признание искусственного интеллекта в США товаром, а не услугой. Это позволит применять к продуктам ИИ строгие стандарты безопасности и защиты потребителей, которые обязательны для выхода товара на рынок, пояснила она.

Джайн отметила, что одна из больших проблем для родителей — это осознание потенциальной опасности таких чат-ботов. До трагической гибели сына Гарсия заметила, что он постоянно сидел в телефоне, но уверял, что не общается с незнакомцами в социальных сетях, и рассказывал про C.AI, представляя его как что-то безобидное.

«Я действительно думаю, что приложение позиционируется как невинный продукт: мол, можно поговорить с любимым персонажем, например с кем-то из мира Disney. Я, как родитель, никогда бы не подумала, что дети, получив такой доступ, сталкиваются с полным отсутствием ограничений в этих разговорах», — подчеркнула Джайн.

Если вас или кого-то из ваших знакомых посещают суицидальные мысли или вы испытываете стресс, пожалуйста, позвоните на номер службы по предотвращению самоубийств 1-800-273-TALK (8255), которая свяжет вас с местным кризисным центром.

Читайте также на ForumDaily:

Расширьте свои возможности: поисковики, которые найдут то, чего не покажет Google

За нами следят через телефоны: как настроить защиту от прослушки на Android и Apple

ChatGPT придумывает более смешные шутки, чем люди

Хотите больше важных и интересных новостей о жизни в США и иммиграции в Америку? — Поддержите нас донатом! А еще подписывайтесь на нашу страницу в Facebook. Выбирайте опцию «Приоритет в показе» —  и читайте нас первыми. Кроме того, не забудьте оформить подписку на наш канал в Telegram  и в Instagram— там много интересного. И присоединяйтесь к тысячам читателей ForumDaily New York — там вас ждет масса интересной и позитивной информации о жизни в мегаполисе.