Создание базовых языковых моделей с миллиардными параметрами долгое время оставалось привилегией технологических гигантов и лабораторий с огромными бюджетами.

Популярные открытые семейства вроде Qwen делятся готовыми весами, но редко раскрывают точные производственные рецепты, а проекты с прозрачной методологией, такие как OLMo или SmolLM, требуют сотен тысяч долларов только на аренду вычислительных мощностей.

Чтобы преодолеть этот финансовый барьер и сделать фундаментальные исследования доступными обычным научным коллективам, исследовательская группа профессоров Чэнь Вэньгуана и Люй Кайфэна из Университета Цинхуа представила проект Puro-2B. Это полностью открытая инициатива, включающая открытый исходный код обучения и обработки данных, веса, контрольные точки и рецепты распределения данных.

Ключевая идея проекта заключается в сквозной оптимизации всех этапов обучения модели на два миллиарда параметров, обработавшей до 1,4 триллиона токенов на кластере из потребительских видеокарт RTX 5090.

Выбор аппаратной базы определила экономическая целесообразность: по соотношению пиковой производительности на доллар аренды эти потребительские ускорители более чем в два с половиной раза превосходят специализированные серверные решения вроде H200.

Главным препятствием для использования игровых карт всегда оставались ограничения памяти в 32 гигабайта и отсутствие высокоскоростных мостов NVLink. Команда решила эту проблему тонкой системной настройкой, активировав прямую передачу данных между картами через PCIe и межсерверный обмен по RDMA, что многократно снизило задержки и подняло пропускную способность шины.

В сочетании с гибридным пайплайн- и дата-параллелизмом это позволило добиться коэффициента утилизации оборудования выше семидесяти процентов.

Аппаратные доработки исследователи объединили с комплексом алгоритмических новшеств. Использование вычислений пониженной точности FP8 с поблочным квантованием обеспечило чистый выигрыш в общей эффективности более тридцати процентов без заметного ухудшения сходимости функции потерь.

Вместо классических оптимизаторов ученые применили модификацию MuonH с явным контролем эффективной скорости обучения и сферической проекцией весов, что позволило выстроить гибкое двухэтапное расписание шагов обучения и ускорить сходимость.

Особое внимание уделили организации обучающих данных: наиболее качественные фрагменты целенаправленно сдвигали на завершающие этапы тренировки. Чтобы модель успевала полноценно усваивать ценные примеры при затухающем темпе обучения, авторы применили методику усреднения контрольных точек на поздней стадии с сохранением стабильной скорости обучения.

Результаты комплексного подхода отразились на финальной смете проекта. Базовая версия модели Puro-2B, потребовавшая около 4400 долларов затрат на вычисления, по среднему результату в пятнадцати бенчмарках обошла популярную Qwen2-1.5B, а улучшенный вариант с бюджетом около 6900 долларов вплотную приблизился к показателям Qwen2.5-1.5B.

На основе полученных результатов ученые вывели эмпирический закон масштабирования затрат, который позволяет исследователям заранее рассчитывать необходимый бюджет под заданный уровень качества без дорогостоящих предварительных прогонов.

Преимущества такой схемы сохраняются и на этапе последующей тонкой настройки, доказывая, что качественное предобучение больше не является закрытым элитарным клубом и становится доступным для небольших независимых команд.