В начале недели в центре внимания оказался проект Jev — модель, которая не генерирует текст, а только принимает решения. Вместо того чтобы тратить время на посимвольный вывод, она сразу выдаёт результат по структурированному вопросу. Идея оказалась настолько востребованной, что почти сразу появилась открытая альтернатива под названием Laya.

Она развивает тот же подход: не пишет статьи и не поддерживает беседу, а выбирает вариант из списка, выставляет оценку по заданному критерию или определяет вероятность того, что утверждение истинно.

Теперь энтузиасты пошли ещё дальше. Разработчик под ником mizorewww перенёс Laya на фреймворк Apple MLX, создав проект Laya-MLX. Это означает, что модель можно запускать прямо на Mac с чипом Apple Silicon, без обращения к облачным API и без громоздких библиотек вроде PyTorch и Transformers.

Потребление памяти оказалось скромным: версия на 421 миллион параметров занимает около 944 мегабайт, а многоязычная версия на 322 миллиона параметров укладывается примерно в 688 мегабайт. Иными словами, для работы хватает одного гигабайта оперативной памяти.

При этом скорость не пострадала. На компьютере с чипом M3 Max короткий запрос обрабатывается в среднем за 7,39 миллисекунды для многоязычной версии и за 13,42 миллисекунды для английской.

Если отправить сразу пятьдесят вопросов, пропускная способность многоязычной модели достигает почти четырёхсот вопросов в секунду. Важно, что замеры включают подготовку запроса, токенизацию, построение тензоров, синхронизацию, калибровку и форматирование ответа — то есть речь идёт о полном времени от подачи вопроса до получения решения.

Точность также подтверждена. Разработчик сравнил результаты Laya-MLX с оригинальной Laya на шестидесяти трёх проверочных вопросах, используя три контрольные точки и две точности вычислений.

Все 378 сравнений совпали, никакого расхождения в выводах не возникло. В качестве наглядной демонстрации модель заставили играть в змейку: она принимала решение о следующем ходе шестьдесят раз в секунду, а за две тысячи четыреста шагов ни разу не погибла, хотя страховочный слой дважды вмешивался в опасных ситуациях.

Установка предельно проста. Достаточно выполнить одну команду pip, импортировать библиотеку и загрузить готовую контрольную точку. При первом запуске она скачается автоматически, после чего все вычисления останутся на вашем компьютере.

Правда, есть и ограничения: контекст английской версии составляет всего 512 токенов, а у многоязычной и специализированной версий — 1024 токена. Этого хватает для коротких инструкций и вариантов выбора, но не для длинных рассуждений. Впрочем, для задач, где нужно быстро и часто принимать чёткие решения, такого запаса вполне достаточно.