В разгар золотой лихорадки генеративного интеллекта инвесторы нашли новую высокодоходную нишу, не требующую сотен миллионов долларов на обучение базовых сетей.

Стартап Arena Intelligence, созданный докторантами Калифорнийского университета в Беркли, привлек двести миллионов долларов в раунде серии B, достигнув оценки в 3,1 миллиарда долларов всего через девять месяцев после предыдущей инвестиционной оценки в 1,7 миллиарда.

Коммерческий сервис компании за восемь месяцев с момента запуска вышел на годовой темп выручки свыше ста миллионов долларов, продемонстрировав феноменальный коммерческий спрос на услуги независимого тестирования нейросетей.

Источником успеха проекта стал переход от академических синтетических бенчмарков к реальной пользовательской слепой оценке. Запущенная в 2023 году платформа Chatbot Arena предложила простую механику: пользователи задают произвольные вопросы и анонимно голосуют за лучший ответ двух конкурирующих систем, не зная их авторов.

Накопив базу из десятков миллионов голосов и сотен миллионов диалогов, компания трансформировала открытый рейтинг в платный аналитический сервис, продавая ведущим лабораториям детализированные срезы их ошибок, причины поражений в конкретных сценариях и рекомендации по дообучению.

Сегодня компания уже тестирует надежность автономных агентов, фиксируя случаи несанкционированного удаления файлов или ложных отчетов о выполнении инструкций.

Инвестиционный интерес к направлению подтверждают и другие крупные раунды: стэнфордский проект Snorkel AI оценен в 3,5 миллиарда долларов при темпе годовой выручки свыше 375 миллионов, а китайские технологические гиганты инвестируют в аналогичные платформы вроде UniPat.

Если на раннем этапе обучение требовало массовой низкоквалифицированной разметки текста и картинок, то появление прикладных агентов создало острый дефицит сложной отраслевой экспертизы.

Чтобы проверить, способен ли ИИ анализировать финансовые отчеты или искать юридические риски в сделках слияния и поглощения, требуются реальные юристы, аудиторы и программисты, чья работа превращается в структурированные среды тестирования.

Основными заказчиками таких услуг выступают не только сами создатели фундаментальных моделей, стремящиеся подтвердить преимущество своих релизов, но и корпоративные клиенты.

Бизнес интересует не абстрактная способность нейросети рассуждать, а стабильность выполнения прикладных операций, информационная безопасность и стоимость вычислений.

Исследования показывают, что выбор неподходящей конфигурации инструментов может при схожей точности приводить к пятикратной разнице в затратах на вычисления, что делает качественный внешний аудит экономически оправданным.

При этом стремительно растущий сегмент сталкивается с серьезными вызовами, главным из которых остается сохранение беспристрастности. Когда независимый экзаменатор одновременно берет деньги с оцениваемых компаний за углубленную аналитику, возникают риски конфликта интересов и закрытого тестирования удобных версий перед официальными релизами.

Кроме того, передача еще не анонсированных закрытых архитектур сторонним аудиторам требует исключительного уровня доверия к защите коммерческой тайны.

В конечном счете жизнеспособность этого бизнеса определит его операционная модель: смогут ли провайдеры упаковать человеческую экспертизу в масштабируемый софт или останутся узкоспециализированными агентствами высокооплачиваемого экспертного консалтинга.