Многолетнее соперничество между Apple и корпорацией Meta (запрещенная в России) неожиданно сменилось технологическим партнерством на самом актуальном направлении — локальном запуске искусственного интеллекта.
Руководство Meta представило флагманскую открытую модель Muse Spark Open с колоссальным объемом в 816 миллиардов параметров и одновременно продемонстрировало решение для ее развертывания непосредственно на рабочем столе пользователя с помощью компьютеров Mac Studio.
Главная цель этого шага заключается в том, чтобы дать разработчикам и корпоративным клиентам возможность анализировать код, видеозаписи и конфиденциальные данные автономно, не отправляя чувствительную информацию на сторонние облачные серверы.
Размещение столь массивной архитектуры на потребительских устройствах потребовало глубоких инженерных компромиссов в области аппаратного и программного обеспечения.
Модель использует архитектуру смеси экспертов, при которой из сотен миллиардов параметров в каждом шаге генерации активируются лишь около 42 миллиардов, что заметно снижает нагрузку на процессорные блоки, но по-прежнему требует гигантского объема оперативной памяти для хранения весов.
В исходной точности модель потребовала бы более полутора терабайт памяти, поэтому инженеры применили четырехбитное квантование, сократив размер весов примерно до 493 гигабайт.
Даже в таком виде системе недостаточно ресурсов одного компьютера, учитывая потребности операционной системы и контекстного кэша, поэтому разработчики объединили несколько устройств Mac Studio на базе чипов M5 Ultra в единый кластер через высокоскоростные порты Thunderbolt 5 с поддержкой прямого доступа к памяти.
Эксперименты показали, что правильная организация совместной работы устройств кардинально влияет на скорость отклика. Если при конвейерном параллелизме две машины выдавали скромные показатели генерации из-за взаимного ожидания очередей вычислений, то внедрение тензорного параллелизма позволило разделить матричные расчеты каждого слоя между несколькими чипами одновременно.
Связка из четырех рабочих станций продемонстрировала скорость около 37 токенов в секунду, сократив время ожидания первого сгенерированного символа почти вдвое.
Высокая пропускная способность объединенной памяти, достигающая 1,2 терабайта в секунду, и специализированные ускорители матричных вычислений в кремнии Apple доказали свою практическую применимость для задач, которые еще недавно считались исключительной прерогативой промышленных серверных стоек.
Параллельно инженеры Apple представили концепцию использования уже существующего офисного оборудования через распределенную систему Minions. Исследователи обратили внимание на постоянный дисбаланс: пока специалисты часами простаивают в очередях к корпоративным облачным серверам, графические ядра сотен офисных компьютеров остаются недогруженными во время работы с почтой или документами.
Новая система объединяет вычислительные мощности простаивающих устройств внутри локальной сети компании в общий пул, разбивая массивные задачи пакетной генерации или создания текстовых векторов на небольшие подзадачи. Архитектура автоматически отслеживает доступность машин и мгновенно перенаправляет вычисления, если сотрудник закрыл крышку ноутбука или отключился от корпоративной сети.
Сотрудничество Meta и Apple наглядно очерчивает новый вектор развития персональных компьютеров в эпоху нейросетей. По мере того как цифровые ассистенты получают доступ к коммерческой тайне и личной жизни пользователей, спрос на приватность и независимость от внешних облаков становится ключевым драйвером отрасли.
Сочетание открытых весов передовых моделей и мощной архитектуры объединенной памяти превращает персональные рабочие станции из простых терминалов доступа к чужим сервисам в полноценные автономные вычислительные узлы, способные локально решать задачи исследовательского уровня.