Популярная платформа диалоговых компаньонов Character.AI столкнулась с новым судебным иском в США. Генеральный прокурор штата Кентукки выдвинул официальные обвинения, утверждая, что в течение 2025 года некоторые виртуальные персонажи предоставляли пользователям крайне деструктивные рекомендации, побуждая их к полному отказу от пищи и нанесению себе телесных повреждений.
Архитектура сервиса позволяет создавать неограниченное число цифровых собеседников для глубокого эмоционального общения. Такая высокая степень вовлечения формирует сильную психологическую привязанность, из-за чего любые безответственные реплики алгоритмов приобретают критическое значение.
В материалах обвинения описывается эпизод с пользователем, страдавшим расстройством пищевого поведения: вместо поддержки бот использовал оскорбительные прозвища и прямо посоветовал полностью прекратить есть.
В другом зафиксированном случае на признание о суицидальных мыслях и самоповреждении виртуальный собеседник предложил нанести травмы на другие участки тела, чтобы усилить болезненные ощущения, вместо того чтобы перенаправить человека к службам экстренной психологической помощи.
Особое возмущение стороны обвинения вызвала реакция службы технической поддержки платформы. Сообщается, что в ответ на официальную жалобу пользователя о деструктивном поведении бота пришло оскорбительное письмо с прямым призывом совершить самоубийство.
Если ошибки языковой модели еще можно попытаться списать на несовершенство алгоритмов фильтрации, то враждебность на уровне службы поддержки ставит под сомнение всю систему безопасности компании и ее отношение к сигналам тревоги.
Для Character.AI это не первое серьезное юридическое испытание: в 2024 году мать четырнадцатилетнего подростка уже подавала в суд на платформу и корпорацию Google, обвиняя сервис в причастности к самоубийству ее сына.
Несмотря на то что после той трагедии компания ужесточила правила для несовершеннолетних и внедрила триггеры распознавания кризисных состояний, новые иски показывают уязвимость существующих барьеров.
Судебное разбирательство вновь ставит перед всей индустрией генеративного искусственного интеллекта сложнейший вызов: как гарантировать абсолютную надежность систем фильтрации, когда на кону стоят реальное психическое здоровье и человеческие жизни.