Samsung разрабатывает zHBM для вертикальной интеграции памяти с ускорителем
Компания показала трёхэтапный план развития HBM, в котором базовый кристалл памяти должен взять на себя часть функций вычислительного чипа. Финальная стадия предполагает размещение HBM непосредственно поверх XPU.
Samsung на презентации Hot Chips раскрыла концепцию zHBM — следующего поколения памяти HBM с вертикальной интеграцией над вычислительным кристаллом XPU, к которому относятся, в частности, GPU и TPU. Компания рассматривает эту архитектуру как финальную, третью фазу развития базового кристалла HBM.
Обычный стек HBM состоит из кристаллов памяти и расположенного снизу base die — базового кристалла, отвечающего за ряд операций DRAM и высокоскоростное соединение с вычислительным чипом. В Samsung предлагают переводить этот кристалл на более современные логические техпроцессы, чтобы размещать на нём дополнительные функции.
Первый этап дорожной карты связан с сокращением площади, которую интерфейс памяти занимает на XPU. В варианте custom HBM компания предлагает заменить традиционный PHY-интерфейс межкристальным соединением D2D. По данным Samsung, это должно уменьшить занимаемую интерфейсом площадь и длину каналов, а значит — снизить энергопотребление передачи данных. Для cHBM4 компания также использует технологию Heat Path Block, которая, как заявляется, снижает пиковую температуру более чем на 35%.
На этой стадии Samsung рассматривает перенос на base die контроллера памяти, а также схемы восстановления ячеек памяти с использованием SRAM. В презентации говорится, что такой подход может высвободить 5–10% площади XPU; оценка прироста производительности при этом составляет 10–20%.
Вторая фаза предполагает дальнейшее расширение функций: датчики надёжности и телеметрию, средства тестирования, контроллер и PHY для подключения внешней памяти LPDDR или HBM, а также отдельные вычислительные элементы. Последние должны уменьшить объём передаваемых между кристаллами данных и связанные с этим энергозатраты.
На третьем этапе Samsung планирует zHBM: стек DRAM будет размещаться вертикально на SoC ускорителя с применением wafer-on-wafer и гибридного соединения. В представленной оценке для такой схемы заявлены энергозатраты ввода-вывода около 0,5 пДж на бит, рост пропускной способности более чем в 2,3 раза и снижение энергопотребления DRAM примерно на 70%. Среди целей также указан отказ от 2,5D-интерпозера.
Необходимость новой архитектуры Samsung связывает с быстрым ростом требований к пропускной способности и ёмкости памяти для ИИ-ускорителей. В презентации отмечается, что HBM4 обеспечивает более 3 ТБ/с на стек, HBM4E должна выйти в диапазон 4 ТБ/с, а HBM5 — удвоить пропускную способность относительно HBM4 при ёмкости свыше 60 ГБ.