Qualcomm заявила о поддержке ИИ-моделей на 30 млрд параметров в смартфонах
Обновлённый нейропроцессор Hexagon в следующей флагманской платформе Snapdragon рассчитан на локальный запуск MoE-моделей, где при генерации каждого токена задействуется лишь часть параметров.
Qualcomm раскрыла детали обновлённого нейропроцессора Hexagon для своей следующей флагманской мобильной платформы Snapdragon. Компания утверждает, что он сможет работать локально на устройстве с моделями Mixture-of-Experts (MoE) объёмом до 30 млрд параметров.
Для этого Qualcomm добавила в NPU Element Accelerator и увеличила объём общей памяти. Новый ускоритель объединяет векторные расширения для матричных вычислений и скалярные — для логики выполнения, принятия решений и маршрутизации инструментов. По заявлению компании, такая архитектура рассчитана на трансформерные и агентные ИИ-задачи.
Объём общей памяти NPU вырос на 50% по сравнению с нейропроцессором Snapdragon 8 Elite Gen 5, сообщает Qualcomm. Ускорение KV-кэша должно поддерживать контекст длиной до 32 000 токенов. Увеличенная память нужна, в частности, для хранения состояния модели, контекста и KV-кэша ближе к вычислительным блокам.
В MoE-моделях доступны все 30 млрд параметров, однако при генерации одного токена активируются примерно 3 млрд параметров, поясняет Qualcomm. Такой подход снижает требования к вычислениям и пропускной способности памяти по сравнению с запуском плотной модели сопоставимого размера. Компания также упоминает управление экспертами между флеш-памятью и памятью устройства, а также кэширование.
Hexagon NPU стал третьим раскрытым компонентом будущей флагманской платформы Qualcomm наряду с процессорной архитектурой Oryon с частотой до 5 ГГц и графическим движком Adreno Neural Fusion. Полную платформу компания планирует представить на Snapdragon Summit, который начнётся 22 сентября.