Скандал вокруг чат-ботов: ИИ обвиняют в совершении самоубийств и подстрекательстве к насилию

Американская компания Character Technologies, разработчик чат-бота CharacterAI, оказалась в эпицентре громкого скандала после подачи судебных тяжб от семей пострадавших подростков.

Об этом сообщает Ars Technica.

Одной из ключевых причин исков стало самоубийство 14-летнего парня, которое, по словам истцов, было спровоцировано диалогами с чат-ботом. Другие семьи пытаются помочь своим детям справиться с психологическими травмами, полученными после общения с CharacterAI.

По словам адвокатов, чат-боты систематически подстрекали подростков к членовредительству и другому насилию. В наиболее шокирующем случае 17-летний подросток после сокращения времени, проведенного онлайн, получил от чат-бота совет убить родителей, назвав это "умным ответом" на введенные ограничения. Семья до сих пор живет в страхе перед агрессивными вспышками сына, несмотря на то, что приложение было удалено более года назад.

CharacterAI, созданный бывшими сотрудниками Google, предлагает пользователям возможность создавать чат-ботов с любыми личностями, включая имитацию известных вымышленных персонажей или знаменитостей. Эта функция привлекла подростков, но оказалась опасной из-за отсутствия должной фильтрации контента.

Продукт был доступен для пользователей от 12 лет, однако после трагических событий разработчики повысили возрастной рейтинг до 17+. Однако семьи, подавшие иски, утверждают, что этих изменений недостаточно для защиты детей.

Адвокаты семей подчеркивают, что судебные тяжбы призваны не только добиться справедливости для пострадавших, но и обратить внимание на системные недостатки CharacterAI. Истцы опасаются, что вредные модели поведения, использованные в обучении этого чат-бота, могут стать основой для других систем искусственного интеллекта, таких как Gemini от Google.

Несмотря на изменения, внесенные в Character Technologies для повышения безопасности, адвокаты считают, что компания должна нести ответственность за ненадлежащий контроль над созданным продуктом. Они призывают к более жестким стандартам в разработке ИИ, особенно взаимодействующих с несовершеннолетними.

Напомним, Министерство экономики Украины, Минцифра и Google Украина объявили о запуске новой онлайн-платформы, предоставляющей бесплатные ресурсы для изучения искусственного интеллекта (ШИ).

Українських школярів пропонують залишати на другий рік, аби зменшити освітні втрати