Google представила открытую модель встраиваний EmbeddingGemma 2, ориентированную на локальную работу на мобильных устройствах, ноутбуках и в браузере без подключения к сети.

Согласно опубликованному материалу издания «Синьчжиюань», размер полной квантованной мультимодальной версии в оперативной памяти составляет около 567 мегабайт при общем объёме 740 миллионов параметров.

Модель позволяет использовать единый поисковый запрос на естественном языке для одновременного поиска по тексту, коду, изображениям, аудиозаписям и видеороликам.

Ключевое отличие от предыдущих поколений заключается в том, что разные типы данных отображаются в одном 768-мерном векторном пространстве. За счёт этого текстовая фраза вроде описания поющей птицы может напрямую сопоставляться как с фотографиями птиц, так и со звуковыми файлами их пения.

Архитектура модели разбита на независимые модули, включающие текстовый блок на 270 миллионов параметров, визуальный кодировщик на 170 миллионов и аудиокодировщик на 300 миллионов параметров, которые разработчики могут загружать выборочно для экономии ресурсов устройства.

Увеличенное до 8 тысяч токенов контекстное окно позволяет модели обрабатывать за один проход до пяти с половиной минут аудиозаписи, почти три десятка изображений или около шестидесяти кадров видеоряда.

В представленных компанией сравнительных бенчмарках качество поиска по изображениям и видео заметно опережает показатели сторонних компактных аналогов сходного масштаба, а в тестах на поиск исходного кода модель показала значительный прирост баллов, что делает её востребованным компонентом для автономных ассистентов разработчика.

Перенос подобных функций на сами устройства решает сразу две ключевые проблемы современных облачных сервисов: сетевые задержки и конфиденциальность.

Пользователям больше не требуется отправлять личные архивы фотографий, голосовые заметки или закрытые корпоративные репозитории на внешние серверы ради семантического поиска.

В связке с компактными языковыми моделями такая система формирует полностью изолированную среду для поиска и ответов на вопросы прямо на пользовательском гаджете.