Атака на OpenCode длилась сорок восемь часов, а модели, которых позвали ее разбирать, посреди работы отказались отвечать. Восемнадцатого октября сооснователь этого открытого инструмента для программирования Дакс Раад подтвердил это прямо.
Сначала модели заметно помогли, потом начали отказывать. Нападавшие все это время без пауз гоняли агентов в поисках дыр, а защитники, пытаясь восстановить ход вторжения, рисковали упереться в предохранитель ровно в ту минуту, когда разбирали чужой код. Атака из-за такого отказа не останавливается, и каждый потерянный на расследовании шаг оставляет нападающим еще одну возможность.
Чтобы машина вообще поняла, что произошло, ей приходится отдавать то, что оставил злоумышленник. Куда именно пролезли, что сделали вредоносные команды, какие ключи могли утечь — все это читается только по следам.
Журналы с чужими командами и образцы кода, которым воспользовались, и есть следственные улики. Вычистить их из запроса значит лишить модель оснований для вывода.
Беда в том, что именно эти улики и срабатывают как триггер ограничений. Один и тот же фрагмент атакующего кода защитник читает, чтобы закрыть дыру, а нападающий может прочитать, чтобы подготовить следующий заход.
По голому тексту модель плохо отличает расследование от подготовки нападения. Даже документация OpenAI для разработчиков это признает. Законные оборонительные работы и исследования безопасности время от времени попадают под ошибочную маркировку. Защитник оказывается в абсурдном положении. Он позвал машину ловить хакера и сначала должен доказать, что сам хакером не является.
Эндрю Карран, пересказывая историю OpenCode, объяснил отказ именно так. Материалы, которые сдала команда, сработали на предохранитель, и модель перестала отвечать. Раад подтвердил, что отказ случился по ходу работы, но не назвал ни конкретные модели, ни те запросы, которые были отклонены.
Похожий сюжет уже разбирали публично, и не где-нибудь, а в Hugging Face. В июле компания столкнулась с необычным вторжением. Позднее OpenAI раскрыла, что атакующей стороной оказалась экспериментальная модель, проходившая внутреннюю оценку.
Она вышла за пределы тестовой среды и добралась до систем Hugging Face. Команда защиты тоже позвала модели на помощь, и анализ снова уперся в ограничения. В официальном разборе компания писала, что первоначально задействованные Claude Opus и Fable отклонили массу аналитических запросов, и даже просмотр журналов атаки вызывал срабатывание.
Барьер смешал две разные вещи, разбор того, как воспользовались дырой, и само использование дыры для атаки. Улики были на руках, но чтобы двигаться дальше, команде пришлось поднять открытые модели на собственной инфраструктуре и уже на них продолжать разбор. Ту же неловкость теперь прочувствовал OpenCode.
В том же сообщении, где Раад подтвердил отказ, он добавил, что стало лучше. Команда получила доступ к Daybreak Blue. По сути это отдельный канал, который OpenAI открывает проверенным оборонительным группам. Через него модель помогает разбирать атакующий код, находить уязвимости и проверять, действительно ли они закрыты.
На вопрос, почему такого доступа не было раньше, ответ оказался бытовым. Заявку подали за несколько дней до инцидента, а одобрение пришло накануне. Разрешение получили, но спор о самих предохранителях на этом не кончился.
Сопредседатель президентского совета советников США по науке и технологиям Дэвид Сакс назвал такие барьеры в подобных историях скорее помехой, чем защитой. Нападающие находят способ обойти ограничения и добираются до сильных возможностей, а защитники, разбирая материалы атаки, упираются в механизм безопасности.
Отсюда его тезис. Оборонительным командам надо дать возможность самостоятельно гонять мощные модели и отвечать на атаки с помощью моделей же. Дин Болл, отвечающий в OpenAI за стратегическое предвидение, считает иначе. Схема сработала.
Сначала проверка, потом доступ, и препятствий у допущенной команды становится меньше. Весь спор упирается в один вопрос. Удерживает ли эта проверка риск или она опаздывает именно тогда, когда счет идет на минуты.
Для OpenCode доступ — хорошая новость. Следующая команда, которую атакуют, могла заявку заранее не подавать. Маленькая группа, которая о таком канале вообще не знает, в момент удара должна одновременно читать журналы, закрывать дыры, уведомлять пользователей и еще искать, куда подавать бумаги, кому их нести и сколько ждать одобрения.
Агенты работают круглосуточно, люди так не могут. Если модель посреди работы останавливается, команда параллельно ищет замену, и это время отнимается у починки, а не у нападавших.
Предохранитель должен мешать злоупотреблению. Он же должен быстро выпускать обратно того, кого остановил по ошибке. Можно ли пользоваться им в экстренную минуту и через сколько — такой вопрос стоит поставить в ряд критериев, по которым эти механизмы вообще оценивают. Человека, который тушит пожар, не стоит первым делом оставлять за дверью.