На прошедшей конференции DevDay компания OpenAI представила масштабные обновления в области взаимодействия агентов с интерфейсами операционных систем, а также новые инструменты для разработчиков.
В центре внимания оказались помощник Dot, снабженный персональной облачной машиной на Linux, и новый Decisions API, ставший быстрым ответом на популярность продукта Jev.
В подкасте The AI Engineer Podcast ключевые руководители направлений — Ари Вайнштейн, отвечающий за продукт и разработку Computer Use, и Никундж Ханда, возглавляющий платформу API, — подробно раскрыли технические детали и философию этих изменений.
Долгое время концепция компьютерного управления моделями вызывала скепсис: агенты часто застревали на простейших препятствиях, а бесконечные циклы создания скриншотов и прокрутки страниц отнимали массу времени.
По словам Ари Вайнштейна, за последний год произошел качественный перелом. Современные агенты научились диагностировать собственные ошибки, гибко менять сценарии действий и пробовать снова, если первоначальный план не сработал.
Вместо слепого кликания по растровым изображениям они теперь анализируют дерево DOM веб-страниц, используют интерфейсы доступности операционной системы и генерируют исполняемый код, например на JavaScript или через Playwright, позволяющий выполнить цепочку из нескольких десятков действий за один вызов. Механизм так называемых снимков приложений передает модели не просто картинку, а полный контекст вместе с метаданными и скрытыми ссылками.
Предоставление агентам Dot изолированного виртуального компьютера на Linux открывает новые сценарии автоматизации повседневных дел: от рутинных заказов доставки до администрирования веб-сервисов и настройки DNS.
При этом ключевым направлением становится интеграция агентов в цикл создания ПО. Модель, написав код, может тут же самостоятельно открыть готовое приложение, протестировать интерфейс и проверить результат вживую, снимая с программиста задачу ручного контроля качества.
Вайнштейн подчеркивает, что с ростом автономности критически важным становится вопрос доверия, поэтому критические операции вроде финансовых транзакций по-прежнему должны требовать подтверждения со стороны человека, а доступ агентов к внешним сайтам необходимо жестко разграничивать.
Технологический стек на уровне API также претерпел фундаментальную трансформацию. Чтобы агенты не простаивали во время выполнения долгих внешних инструментов, OpenAI внедрила асинхронные вызовы функций через WebSockets и возможность вмешательства в середине генерации, позволяющую подмешивать новые инструкции прямо в процессе рассуждений модели.
Для работы с длинными сессиями введена двухуровневая система сжатия контекста: автоматическая компрессия на стороне сервера по достижении лимита токенов либо ручное управление через специальный эндпоинт. Кроме того, появилась расширенная гарантия кэширования контекста вплоть до двенадцати часов и механизм предварительного прогрева кэша.
Отдельного внимания заслуживает Decisions API, разработанный всего за неделю под влиянием внешнего сервиса Jev. Никундж Ханда пояснил, что команда решила задачу на базе существующей модели Luna, не прибегая к дорогостоящему переобучению.
Инженеры применили жесткие структурные ограничения на выходе, оптимизировали инфраструктуру инференса для минимизации задержки первого решения и обеспечили параллельную пакетную обработку нескольких вопросов одновременно.
Получившийся инструмент ориентирован на молниеносную классификацию данных, например сортировку тикетов службы поддержки или мгновенную оценку шагов агента.
В связке с речевым интерфейсом GPT Live такой быстрый слой принятия решений позволяет модели моментально реагировать на команды пользователя, превращая управление компьютером в плавный и естественный процесс.