Micron: производительность ИИ растёт быстрее пропускной способности HBM
По оценке Micron, вычислительные возможности для ИИ увеличиваются примерно втрое за два года, тогда как пропускная способность HBM — менее чем вдвое. Производитель считает, что разрыв между вычислениями и памятью будет усиливаться, а одним из ключевых инженерных ограничений для новых стеков становится тепло.
Micron предупредила об усилении «стены памяти» в ИИ-системах: производительность вычислительных блоков растёт примерно в три раза каждые два года, а пропускная способность памяти HBM — менее чем в два раза за тот же срок. Из-за этого ИИ-нагрузки часто оказываются ограничены памятью, а вычислительные процессоры могут ожидать поступления данных.
Эту оценку на конференции Hot Chips 2026 представил Рагу Шрираманени, специалист Micron по архитектуре HBM. Компания называет HBM ключевым типом DRAM для современных ИИ-ускорителей: память располагается близко к GPU, а несколько её стеков дают пропускную способность на уровне нескольких ТБ/с. Для сравнения, в приведённой Micron типичной конфигурации GPU с HBM суммарная пропускная способность составляет 5,3 ТБ/с, тогда как DDR5 — около 300 ГБ/с с возможностью достигать 1 ТБ/с.
Однако наращивание HBM упирается не только в скорость передачи данных. В типичном GPU-модуле с четырьмя 12-слойными стеками HBM на память приходится около 90% общей площади кремния — примерно в восемь раз больше, чем на сам GPU. Высота стеков уже выросла с четырёх до 16 кристаллов; путь к 20-слойным конструкциям существует, но связан с существенными тепловыми и механическими трудностями.
Micron отмечает, что проблема заключается прежде всего в плотности мощности. Особенно сильно нагревается базовый кристалл HBM, где сосредоточены продвинутые функции интерфейса, а увеличение числа слоёв повышает активность кристаллов в стеке. Среди возможных решений компания называет жидкостное охлаждение, гибридное соединение кристаллов и новые методы корпусирования.
В частности, Micron изучает Fusion bonding — технологию соединения с шагом в единицы микронов. По версии компании, она позволит передавать через корпус больше данных и сократить число диэлектрических слоёв между DRAM-кристаллами, что потенциально может улучшить тепловые характеристики стека. Также ведётся работа над высокоскоростными интерфейсами ввода-вывода и SerDes, оптимизированными для памяти.
Текущим флагманским решением Micron названа HBM4 с пропускной способностью до 2800 ГБ/с. Компания заявляет, что у неё вдвое больше линий ввода-вывода и каналов, чем у HBM3E. При этом рост плотности DRAM ухудшает показатель энергозатрат на передачу одного бита, поэтому дальнейшее развитие HBM потребует изменений одновременно в технологическом процессе, проектировании и корпусировании.
Micron также сослалась на работу о обучении Meta Llama 3: в ней 17% непреднамеренных остановок обучения были отнесены к сбоям HBM. Этот пример компания приводит как иллюстрацию того, что надёжность и тепловой режим памяти становятся ограничениями не только для пикового быстродействия, но и для стабильной работы крупных ИИ-кластеров.