Сорок три минуты, одиннадцать тысяч сто тридцать восемь токенов рассуждений, шесть пакетов команд — и ни одного боевого юнита. Такой удручающий результат показала модель Grok 4.6 в игре StarCraft: Brood War.

Выставив максимальную глубину размышлений, она с начала партии и до самого конца предавалась раздумьям, но так и не построила ни одного солдата. На другом конце той же таблицы GPT-6 Astra, напротив, одержала восемнадцать побед в восемнадцати матчах. Этот рейтинг под названием Brood War Bench быстро стал популярным на площадке, где общаются программисты Кремниевой долины.

Однако даже непобедимая Astra не может обыграть человека-новичка. В комментариях тут же нашёлся меткий ответ: модели не то чтобы не умеют играть, им просто нужно слишком много времени.

Если поставить игру на паузу, пока модель думает, она справится. Другой пользователь язвительно заметил, что это как будто модели вовсе не являются универсальным интеллектом. Почему же самые умные системы гибнут в «StarCraft» от собственных размышлений?

Ответ в том, что игра никогда не останавливается и не ждёт. В отличие от математических задач или написания кода, где модель может надолго задуматься и выдать ответ одним куском, здесь идёт непрерывное сражение в реальном времени.

Пока ты размышляешь, противник добывает ресурсы, строит армию и уже штурмует твою базу. Модели старого поколения действуют по логике пошаговых игр и в итоге оказываются раздавлены, пока их «мозг» ещё крутится.

Именно это произошло с Grok. В одной из партий она выдавала длинные стратегические рассуждения, но за сорок три минуты отдала всего шесть команд, то есть действовала примерно раз в семь минут. В других матчах она строила несколько солдат, но те так и не дошли до базы противника.

На максимальной глубине размышлений её результат составил две победы при пятнадцати поражениях. К середине партии у Astra уже была крепкая армия, тогда как у Grok на поле оставалось меньше семи рабочих и несколько солдат. При этом на счету у неё лежали огромные запасы ресурсов — деньги были, мысли текли, а действий не было.

Если Grok погубила склонность слишком долго думать, то Astra, наоборот, заставляла противников думать до смерти. Её фирменный приём — harassment. Она часто отправляла одного простейшего рабочего через всю карту к базе врага.

Для человека такой юнит без боевой силы не представляет угрозы, но в матче ИИ против ИИ это оказывалось сокрушительным оружием: увидев рабочего, противник погружался в размышления на десятки секунд, пытаясь решить, что с ним делать, и всё это время база простаивала. В стратегиях реального времени harassment служит подрыву экономики, но в противостоянии моделей его главная сила — довести чужой ИИ до паралича.

У Astra тоже есть слабости. Внутри она напоминает разрозненную команду: управление экономикой, производством и боевыми действиями ведут разные подсистемы. Новые солдаты сразу отправляются на фронт и гибнут, потому что никто не догадывается сначала собрать армию. Но стоит человеку взять на себя роль главнокомандующего и связать подсистемы воедино, как Astra сразу начинает копить силы и выбирать момент для удара.

Самым «правильным» игроком выглядит Fable. Она честно развивает экономику, последовательно строит технологическое дерево и редко идёт на уловки. В одной партии она вывела драконов, в другой построила целую линейку продвинутых зданий протоссов.

К середине матча по рабочим, армии, постройкам и технологиям Fable опережала Astra. Но хороший ученик не всегда становится первым. При высокой доле побед она всё же уступала Astra, а в одном случае, накопив полную базу технологий, была раздавлена прямым натиском соперника, не успев превратить мощь в боевую силу.

По темпу она тоже отставала: медианная длительность партии у Astra составляла восемь минут десять секунд, тогда как у любящей неспешное развитие Fable — почти одиннадцать минут.

Три модели — три характера. Одна похожа на уличного хитреца с дурными уловками, вторая — на упрямого отличника, застрявшего на первом задании, третья — на добросовестного исполнителя, следующего инструкции слово в слово. Означает ли это, что чем меньше думаешь, тем лучше? Не совсем.

У одной из моделей предыдущего поколения максимальная глубина рассуждений давала худший результат, чем средняя. Но у Astra картина обратная: чем глубже размышление, тем выше шансы на победу, и на максимуме она выиграла всё. Любопытно и то, как распределяются расходы: на самой высокой глубине модель совершала лишь двенадцать с половиной действий в минуту и тратила за партию около десяти с половиной долларов, тогда как на минимальной частота операций удваивалась, а стоимость вырастала до двадцати одного доллара.

Меньше действий, меньше денег, больше побед — модели, судя по всему, научились понимать, что размышление стоит денег и что иногда пора перестать думать и начать действовать.

Кто-то наверняка вспомнит, что семь лет назад AlphaStar уже побеждала профессиональных игроков. Это правда: в 2019 году она обыграла двух профессионалов со счётом 5:0, а затем, получив человеческие ограничения по обзору и скорости действий, анонимно поднялась в европейской лестнице до уровня выше 99,8 процентов игроков.

Но сравнивать эти случаи нельзя. AlphaStar играла в StarCraft II и была узкоспециализированной машиной, натренированной на огромном массиве записей и самообучении, — она всю жизнь училась только этому. Нынешние же большие модели в Brood War — универсалы без всякой базы по игре.

Они читают задачу на месте, вызывают инструменты, учатся на ходу, и каждый шаг требует сначала полностью продумать, а потом действовать. Узкий специалист, побеждающий профессионала, не удивляет; универсалу же для кросс-жанрового мастерства нужно ещё время.

Автор приходит к выводу: даже непобедимый чемпион среди ИИ не устоит против излюбленной новичками быстрой атаки. Модели не способны выстроить сложные построения и провести долгосрочную тактику.

Последние годы мы давали ИИ задачи в духе пошаговых экзаменов, спрашивая лишь одно: правильно ли ты посчитал?

Но StarCraft устроена иначе. Как и автономное вождение или воплощённые роботы, она существует в мире, который не ставится на паузу, а противник движется постоянно.

Это испытание обнажило самую критичную слабость ИИ на пути к самостоятельным действиям: больше токенов на размышление не обязательно дают более сильного агента.

Следующий этап борьбы агентов, вероятно, будет не о том, кто глубже думает, а о том, кто в ограниченное время сумеет замкнуть наблюдение, решение и действие в непрерывно вращающийся цикл. Провал в «StarCraft», возможно, и есть репетиция выхода ИИ в реальный мир.