Юридический стартап Harvey, оценённый в 15,6 миллиарда долларов, долгое время строил свой продукт на модели GPT-4 от OpenAI. После крупного обновления агента весной этого года использование резко выросло, а вместе с ним рухнула маржа: с примерно пятидесяти процентов в начале года до минус пятидесяти к июню.
Потребление токенов выросло в двадцать раз. Логика, при которой выгоднее платить за лучшие модели OpenAI и Anthropic, а не обучать свои, начала трещать под давлением расходов.
В августе Harvey выпустил собственную модель на базе Kimi K3 от китайской Moonshot AI. По качеству она близка к лучшим продуктам Anthropic, но стоит в разы меньше. Маржа снова стала положительной.
Это не единичный случай. Медицинский стартап Abridge объявил о создании собственной базовой модели для клинических задач. Сервис поддержки Decagon перевёл восемьдесят процентов запросов на свою модель.
Финансовые компании Ramp и Rogo впервые изучают возможность обучения собственных моделей. Cursor и Cognition, оценённая в 48 миллиардов, одними из первых среди прикладных компаний выпустили свои модели.
Инвесторы из Sequoia и General Catalyst поддерживают этот разворот, а некоторые фонды прямо заявляют, что компания, не оптимизирующая расходы и не думающая о своей модели, рискует не получить финансирование.
Толкает к этому не только цена. OpenAI и Anthropic всё активнее берут дополнительную плату за объём использования поверх базовой подписки, что бьёт по стратегии максимизации токенов. Говорят, что Uber исчерпал годовой бюджет на ИИ уже к апрелю.
Одновременно обе компании сами выходят в юридическую, финансовую и медицинскую сферы, где работают их клиенты, и становятся конкурентами. Есть и риск отключения доступа: после покупки Cursor компанией SpaceX OpenAI приостановила предоставление ему своих моделей.
Однако переход на открытые модели сопряжён с трудностями. Нужны редкие и дорогие специалисты по тонкой настройке, которых переманивают те же гиганты. Нужны данные: Harvey, не имея доступа к конфиденциальным документам клиентов, покупает обучающие наборы у стороннего поставщика.
Содержание собственной инфраструктуры обходится дорого, и для компаний с небольшим трафиком оплата по факту у закрытых моделей может оказаться выгоднее. Некоторые, как Salespeak, попробовали и отказались, не увидев заметных преимуществ.
Поэтому большинство стартапов не отказывается от OpenAI и Anthropic полностью. Инвесторы признают, что зависимость будет снижаться, но за лучшим качеством по-прежнему будут обращаться к лидерам.
Сам Harvey, по словам Anthropic, всё ещё использует Claude Opus для самых сложных задач. Скорее всего, оптимальной стратегией останется сочетание открытых и закрытых моделей.
По сути, прикладные компании пытаются заново договориться с поставщиками моделей о цене и контроле. И чем ближе открытые модели подбираются к закрытым по качеству, тем сильнее это будет давить на OpenAI и Anthropic на пути к их IPO.