История с чат-ботом авиакомпании United Airlines, который сообщил клиентке неверные сроки действия её бонусов, а затем признался в ошибке, только подтверждает: агенты уже вошли в корпоративную среду, и риски проявились сразу.
По прогнозу Gartner, к концу 2027 года более сорока процентов проектов на основе агентного ИИ будут закрыты, в том числе из-за недостаточного контроля рисков. Модель может блестяще проходить тесты и всё равно оказаться непригодной для реальной работы.
В отрасли уже появились концепции, объясняющие, что нужно помимо самой модели. Инженерия упряжи, рассматривает агента как сочетание модели и внешней обвязки — цикла управления, диспетчеризации инструментов, памяти, защитных барьеров и песочницы.
Графовая инженерия идёт дальше и описывает оркестрацию множества агентов, где узлами становятся сами агенты, а рёбрами — потоки данных и управления. Однако оба подхода отвечают на вопрос, как построить систему, но не на вопрос, как убедиться, что она построена правильно и останется правильной после запуска.
Именно здесь возникает понятие Agent DLC — жизненного цикла разработки агента, предложенное в документах Amazon Web Services. Его главный принцип прост: допуск в производство определяется оценкой, а не решением людей на совещании.
Если критерии выполнены — система проходит дальше, если нет — возвращается на доработку. Это напоминает конвейер непрерывной интеграции и доставки в классической разработке, только вместо кода проверяется поведение агента.
Цикл состоит из шести этапов: определение, построение, оценка, выпуск, наблюдение и возврат данных. До выпуска команда многократно проходит первые три этапа, иногда десятки и сотни раз.
После выпуска наблюдение и возврат непрерывно собирают новые пограничные случаи и модели отказов, чтобы следующая оценка была ближе к реальности. Основой служит так называемый золотой стандарт, включающий спецификацию оценки и набор эталонных траекторий с базовой точностью для регрессионного тестирования.
Спецификация оценки переводит все требования к агенту в автоматически измеримые критерии по пяти направлениям: понимание бизнеса, качество вывода, ответственность и безопасность, стоимость и производительность.
Каждый критерий делится на три уровня: красная линия требует стопроцентного прохождения и имеет право вето, порог должен достичь заданного значения, а наблюдаемый уровень требует лишь сопоставимой базовой линии. Все три уровня фиксируются до первого запуска оценки, чтобы избежать соблазна подгонять стандарты под уже полученные баллы.
Оценка — самый важный и самый уязвимый этап. Она одновременно выносит суждение о качестве и принимает решение о допуске, а её выводы напрямую влияют на производство.
В отличие от традиционного тестирования, где ответ функции либо совпадает с ожидаемым, либо нет, ответ агента — это сочетание естественного языка и многошагового поведения, и само понятие правильного ответа требует определения и калибровки.
Хуже того, оценка часто опирается на языковую модель в роли судьи, а судья тоже ошибается. Если в системе оценки есть систематическое смещение, тем красивее выглядят баллы, тем дальше мы от реальности.
В документах приводится реальный урок: команда использовала оценщик правильности на тринадцати примерах и получила нулевой результат. Оказалось, что знания модели-судьи устарели раньше оцениваемого содержания — просроченная линейка для новых измерений.
После замены метода на оценку достоверности, которая проверяет, подтверждаются ли утверждения в ответе контекстом, те же тринадцать примеров прошли успешно. Разница принципиальна: правильность спрашивает, верен ли ответ, и требует от судьи собственных знаний, а достоверность спрашивает, опирается ли ответ на предоставленные материалы, и судье достаточно сличить текст с контекстом.
Среди типичных смещений выделяют позиционное, когда перестановка двух ответов меняет вердикт, и рекомендуют прогонять оба порядка и учитывать только совпадающие выводы.
Есть смещение к длинным ответам, которое лечится явной пометкой, что длина не добавляет баллов. Есть предпочтение собственного стиля, против которого помогает перекрёстная проверка судьями разных производителей.
Есть слишком грубая шкала, когда все оценки сбиваются в середину, и тогда на смену баллам приходит попарное сравнение. Отдельно задаётся жёсткое требование: согласие модели-судьи с человеком должно достигать уровня согласия между людьми, иначе автоматическая оценка недопустима.
Практическая часть включает инструменты, помогающие превратить выводы оценки в конкретные действия. Четырёхшаговый метод последовательно отвечает на вопросы, был ли извлечён нужный контекст, опирался ли ответ на материалы, верны ли сами материалы и соответствует ли ответ вопросу.
Это позволяет быстро определить, где искать причину ошибки: в поиске, в генерации, в базе знаний или в понимании намерения. Трёхуровневая атрибуция идёт дальше и разделяет проблемы на уровне сессии, траектории и отдельного шага, каждая из которых требует своего ремонта — управления целями и памятью, настройки поиска и оркестрации инструментов или правки конкретных подсказок и параметров.
Отдельно говорится о честном отношении к стоимости. Оценщик сам по себе дорог, поскольку каждый прогон траектории через модель-судью — это отдельный вызов. При использовании симуляции добавляются расходы на актёра.
Прежде чем масштабировать онлайн-оценку, нужно посчитать эту статью затрат. Кроме того, критерием качества служит доля прохождения, а не двоичное решение, и допустимый уровень определяется бизнесом: помощнику по коду можно разрешить несколько попыток, но для службы поддержки одна ошибка на пять обращений означает реальную неудачу для каждого пятого клиента.
Приоритет исправлений выстроен так: сначала убедиться в достоверности самих баллов, затем проверить качество данных, потом настроить подсказки и лишь в последнюю очередь менять модель. Большинство улучшений даёт работа с подсказками, описаниями инструментов и стратегией поиска.
Для внедрения всего цикла нужна инфраструктура: оценщики, среда исполнения, наблюдаемость, атрибуция, A/B-тесты и канареечные выпуски. Строить всё самостоятельно долго и дорого, поэтому соответствующие управляемые возможности берут на себя платформенные решения, не привязывающие компании к конкретному фреймворку или модели.
Примеры показывают эффект: британская площадка по продаже автомобилей снизила частоту ошибочных результатов с одного случая на восемь до одного на пятьдесят, а точность выбора инструментов подняла с восьмидесяти семи до девяноста восьми процентов.
Другие компании сократили время процессов с минут до секунд, ускорили вывод новых агентов до одного дня и получили значительную окупаемость вложений за считаные месяцы.
Ни одна система не гарантирует отсутствия ошибок. Смысл жизненного цикла в том, чтобы ошибка была обнаружена до того, как она причинит последствия. Формула, предложенная авторами подхода, звучит так: до выпуска агента оценивают по стандарту, после выпуска стандарт оценивают по миру.