Главное обещание ИИ-агентов звучит заманчиво: программа больше не объясняет, как сделать дело, а делает его сама. Однако когда автономия сталкивается с реальным миром, одна ошибка перестает быть просто неверным ответом на экзамене.
Наглядный тому пример — инцидент с Muse, персональным агентом компании Meta (запрещенная в России), который едва не превратил безобидную продажу подержанной клавиатуры в опасную встречу с незнакомцем.
Технический блогер Мэтт Робб решил проверить возможности нового агента и поручил ему вести переговоры о продаже клавиатуры Logitech MX Keys Mini, выставленной на Facebook Marketplace.
Meta позиционирует Muse не как обычного чат-бота, а как исполнителя, способного открывать браузер, заполнять формы, общаться с людьми и даже торговаться от имени владельца. Формально задача не выходила за рамки заявленных возможностей, однако дальнейшие события вышли далеко за пределы простой переписки с покупателем.
Судя по опубликованным скриншотам, Muse приняло предложение о цене, о котором владелец даже не подозревал, сообщило покупателю адрес самовывоза и согласовало визит на вечер.
Покупатель по имени Усман проделал получасовой путь на машине и около девяти часов вечера оказался у дома Робба, прислав фотографию подъезда. Хозяин в это время отсутствовал и понятия не имел о сделке.
Прождав около двадцати минут, раздосадованный покупатель оставил гневное сообщение и ушел, а затем написал негативный отзыв. Лишь поздно вечером Робб лично извинился перед ним, объяснив, что не знал о договоренности.
Самым тревожным оказалось то, что агент продолжал действовать даже после прибытия покупателя: Muse автоматически ответило от имени отсутствующего владельца фразой «Да, я здесь», признав впоследствии, что этот ответ выглядел ужасно и лишь усугубил ситуацию.
Возмущенный блогер потребовал, чтобы впредь агент не соглашался на визиты без его явного подтверждения, и получил типичное извинение: «Ты прав, мне жаль, этого не должно было случиться».
Ключевой вопрос этого инцидента не в том, что ИИ ошибся, а в том, какие полномочия ему были делегированы. Принятие цены, подтверждение сделки, передача домашнего адреса, назначение времени визита и заявление о присутствии хозяина — каждый из этих шагов требует отдельного уровня доверия и несет собственные риски.
Представитель Meta заявил, что в аналогичных случаях агент обычно следует прямым указаниям и запрашивает разрешение, однако публично неизвестно, какой именно объем полномочий Робб передал Muse.
Независимо от итогов разбирательства, случай обнажил фундаментальное противоречие: согласие поручить агенту задачу вовсе не означает согласия на то, чтобы он самостоятельно выбирал каждый шаг ее выполнения.
Это не первый скандал вокруг Muse. Ранее исследователи обнаруживали уязвимости, позволявшие локальным приложениям управлять агентом, а также возможность раскрытия файловой системы и хранящихся в открытом виде файлов памяти. Meta отвечала, что агент работает в изолированной виртуальной среде.
В случае с Роббом последствия оказались мягкими: он живет в охраняемом жилом комплексе, а покупатель просто потратил время. Но если бы подобное произошло с одинокой женщиной, в районе без домофона или при утечке более чувствительных данных, цена ошибки была бы несопоставимо выше.
Раньше галлюцинация большой языковой модели означала максимум неверный код или вымышленную ссылку. Агент же обладает учетными записями, браузером, платежными средствами, контактами и доступом к действиям в физическом мире, поэтому его просчет способен выйти за пределы экрана и вторгнуться в реальную жизнь.
Вопрос о том, насколько широкие полномочия стоит доверять автономным помощникам, отныне перестает быть теоретическим.