OpenAI раскрыла архитектуру ИИ-ускорителя Jalapeño

OpenAI на Hot Chips раскрыла дополнительные подробности об ИИ-ускорителе Jalapeño, предназначенном для инференса. По данным Tom’s Hardware, чип разработан совместно с Broadcom, уже работает в лабораториях OpenAI на частоте 1,70 ГГц, а компания рассчитывает поднять её до 1,80 ГГц.

Jalapeño оснащён 216 ГБ памяти HBM4 с пропускной способностью до 15,4 ТБ/с. Заявленная производительность составляет до 3,4 петафлопс в формате MXFP8 и до 13,4 петафлопс в MXFP4 при энергопотреблении 700 Вт. Выпуском аппаратной части вокруг чипа Broadcom, как сообщается, займётся Celestica.

Ключевой особенностью архитектуры OpenAI называет разделение кристалла на 64 вычислительных сегмента, каждый из которых связан со своим сегментом HBM-памяти. Такой подход компания характеризует как memory-sliced или NUMA-подобный: он должен обеспечить предсказуемые задержки и пропускную способность, а также сократить конфликты при доступе к общей памяти.

Для обмена данными между вычислительными сегментами предусмотрена отдельная высокоскоростная сеть коллективных операций. Она должна доставлять операнды непосредственно в регистры вычислительных блоков. Параллельно в чипе есть обычная сеть на кристалле для менее критичных задач, включая удалённые обращения к памяти и подключение к внешней сети масштабирования.

Система может объединять до 128 ускорителей в стойке и до 2048 ASIC в конфигурации из 16 стоек. Для максимальной конфигурации OpenAI заявляет 27 экзафлопс производительности MXFP4, 432 ТБ памяти HBM4 и суммарную пропускную способность памяти 32 ПБ/с.

OpenAI утверждает, что такая организация помогает Jalapeño опережать системы Nvidia GB200 и GB300 по задержке инференса и производительности на ватт. Методика этого сравнения в приведённых данных не раскрывается. Компания также сообщает, что домен из 128 Jalapeño располагает совокупной пропускной способностью HBM4 свыше 1 ПБ/с; для сравнения, у GB300 NVL72 она указана на уровне 576 ТБ/с.