d-Matrix представила 3D-память Raptor для ИИ-ускорителей
Компания заявляет, что размещение DRAM под вычислительным кристаллом позволит получить пропускную способность до 100 ТБ/с при энергозатратах 0,3–0,37 пДж на бит. Решение позиционируют как промежуточный вариант между SRAM и HBM для задач ИИ-инференса.
d-Matrix представила Raptor — архитектуру трёхмерной DRAM для ИИ-ускорителей. По данным компании, такая память способна обеспечивать до 100 ТБ/с пропускной способности при энергозатратах 0,3–0,37 пДж на переданный бит. Это заметно ниже показателя HBM, который в материале Wccftech оценивается в 2,4–2,5 пДж на бит без учёта перемещения данных.
Идея Raptor состоит в том, чтобы разместить специализированные кристаллы DRAM под логическим кристаллом с вычислительными блоками. d-Matrix выбрала компоновку с логикой сверху, чтобы упростить отвод тепла через холодную пластину. Для работы при температуре перехода до 105 °C память обновляет данные в восемь раз чаще обычной DRAM — раз в 4 мс.
В каждом чиплете Raptor предусмотрено 256 тензорных вычислительных блоков. Их сопоставляют с банками памяти, чтобы сократить объём передаваемых данных. Компания также использует небольшие микробанки объёмом 5,33 МБ и коррекцию ошибок Reed–Solomon на логическом кристалле; заявленная потеря пропускной способности памяти при таком подходе составляет 1,37%.
Raptor рассчитана прежде всего на этап генерации ответа в больших языковых моделях, где производительность ограничивает доступ к памяти и растёт объём KV-кеша. d-Matrix противопоставляет своё решение SRAM, которая даёт очень высокую скорость, но плохо масштабируется по ёмкости и обходится значительно дороже HBM, а также HBM с её ограничениями по энергопотреблению и пропускной способности.
В сравнении с платформой NVIDIA Rubin R200 с HBM4, приведённом d-Matrix, Raptor при эффективном использовании пропускной способности на уровне 83–85% обеспечивает в 23,4 раза более высокую плотность пропускной способности в расчёте на площадь кристалла и в 13,5 раза лучшую энергоэффективность в мВт на ГБ/с. Эти показатели являются заявлениями самой d-Matrix; сведений о сроках коммерческого выпуска Raptor в доступном источнике нет.