Определение
Память, установленная рядом с чипом GPU в одном корпусе. Даёт в разы большую пропускную способность, чем GDDR; стоит в H200, B200, B300 и AMD Instinct.
Поколения: HBM3 — в H100 (80–94 ГБ, 3,35–3,9 ТБ/с), HBM3e — в H200 (141 ГБ, 4,8 ТБ/с), B300 и AMD Instinct MI355X (288 ГБ, 8 ТБ/с), HBM4 — в NVIDIA Rubin (288 ГБ, 22 ТБ/с). Для сравнения: у RTX PRO 6000 Blackwell с GDDR7 — около 1,6 ТБ/с.
Скорость генерации LLM ограничена пропускной способностью памяти: на каждый токен GPU читает активные веса модели. Поэтому GPU с HBM быстрее отвечают и обслуживают больше пользователей на той же модели.