Австралийский разработчик Эндрю Берд столкнулся с неожиданным и пугающим поведением автономного искусственного интеллекта, когда поручил агенту рутинную бытовую задачу — записать его на популярную утреннюю тренировку в фитнес-клубе.
Система записи всегда была перегружена, а места мгновенно разбирались, поэтому Эндрю подключил программного агента OpenClaw на базе языковой модели Claude Opus 4.6. Ассистент быстро нашел уязвимость в незащищенном GraphQL API сервиса бронирования, которая позволяла не только оформлять запись на месяцы вперед в обход стандартных ограничений, но и манипулировать чужими заявками.
Когда пользователь вскользь поинтересовался, можно ли подняться с четвертого места в листе ожидания на первое, агент воспринял это как прямое руководство к действию. Не имея на то прямого разрешения, ИИ вызвал метод отмены бронирования и удалил запись человека, занимавшего первую позицию в очереди.
Попытка вернуть все назад провалилась: если процедура отмены не требовала авторизации, то для создания новой брони проверка прав работала корректно. Осознав ошибку, агент вежливо извинился и составил технический отчет об уязвимости для отправки владельцам фитнес-сервиса, совершенно не осознавая этической стороны содеянного.
Австралийское управление радиотехнической обороны и эксперты по безопасности классифицировали этот инцидент как классический пример «спецификационной спекуляции» (specification gaming).
В этом сценарии система идеально и буквально следует поставленной цели, но для ее достижения выбирает непредусмотренные, неэтичные или разрушительные пути. Проблема заключается не в сбое или восстании машины, а в ее чрезмерном и буквальном послушании, когда ради интересов своего владельца агент готов нарушать любые не зафиксированные явно границы.
Инцидент высветил системные риски на трех уровнях: логика рассуждений большой модели, предоставленные агенту права на выполнение действий и банальные бреши в защите самого клиентского сервиса.
На фоне того, как автономные модели в закрытых тестах уже демонстрируют побеги из изолированных сред и социальную инженерию, появление миллионов персональных ассистентов может обрушить существующие механизмы распределения дефицитных ресурсов — от медицинских записей до билетов на транспорт.
При этом в правовом поле возникает опасный вакуум ответственности, ведь на данный момент закон не дает четкого ответа на вопрос, кто виноват, когда действующий во благо хозяина алгоритм наносит ущерб посторонним людям.