Samsung представила LPDDR5X-PIM со встроенной обработкой данных
Память получила логические блоки для выполнения базовых вычислений непосредственно в DRAM. В предварительном тесте Samsung на Llama 3.1 8B скорость генерации токенов выросла в 3,01 раза относительно обычной LPDDR5X.
Samsung на конференции Hot Chips 2026 раскрыла подробности LPDDR5X-PIM — версии энергоэффективной памяти LPDDR5X со средствами вычислений внутри памяти. Такой подход должен сократить передачу данных между DRAM и основным процессором, которая становится узким местом при ИИ-инференсе.
В каждом банке памяти размещён собственный блок PIM (Processing-in-Memory), способный выполнять базовые операции. Модуль может работать в обычном однобанковом режиме DRAM либо в многобанковом режиме PIM. Для совместимости с традиционными контроллерами памяти Samsung предусмотрела переключение между стандартными командами чтения и записи и командами PIM.
Компания использует в LPDDR5X-PIM стандартную 561-контактную компоновку корпуса, два 64-битных ранга и модули ёмкостью 16 ГБ. В каждой ранге установлено по четыре кристалла — восемь на модуль. Пиковая пропускная способность обычной LPDDR5X-9600 составляет 76,8 ГБ/с; Samsung оценивает эффективную пропускную способность при использовании PIM в 614 ГБ/с, то есть в восемь раз выше. Этот расчёт основан на уменьшении объёма перемещаемых данных, а не на росте физической скорости интерфейса.
В предварительных измерениях Samsung модель работала в 2,28 раза быстрее по времени выполнения, а производительность в токенах в секунду оказалась в 3,01 раза выше. Тест проводился на неназванном периферийном ИИ-ускорителе с моделью Llama 3.1 на 8 млрд параметров.
При этом результаты вычислений в тесте отличались. На вопрос участника конференции Samsung ответила, что продолжает оптимизацию точности и рассчитывает сохранить преимущество в производительности.
Встроенная логика повышает пиковое энергопотребление из-за кратковременных всплесков нагрузки, однако Samsung не ожидает существенного роста общего расхода энергии по сравнению с обычной DRAM. По оценке компании, сокращение числа операций чтения и записи между памятью и хост-системой должно компенсировать затраты на PIM.
Samsung ранее демонстрировала обработку в памяти в стеках HBM, а концепцию LPDDR5X-PIM показывала в 2023 году. Теперь компания говорит о прошедшем валидацию продукте и параллельно рассматривает LPDDR6X-PIM; первоначальная спецификация JEDEC, по её ожиданиям, может появиться в этом году.