[ТЕЛЕФОН]Заявка
Глоссарий · GPU и видеопамять

Что такое VRAM

Все термины

Определение

Память видеокарты. Определяет, какая модель поместится на GPU: веса, контекст и промежуточные данные.

Чтобы модель работала быстро, её веса должны целиком поместиться в VRAM вместе с KV-кэшем. Оценка весов: число параметров × байт на параметр — 2 байта в BF16 и FP16, 1 в FP8, около 0,55–0,6 в 4 битах с учётом множителей масштаба.

У моделей MoE в памяти должны лежать все эксперты, даже если на токен работает лишь несколько: Qwen3.5-122B-A10B в 4 битах занимает около 68 ГБ при 10 млрд активных параметров. Многие модели выпускают уже сжатыми — DeepSeek-V4-Flash весит около 160 ГБ, gpt-oss-120b — около 63 ГБ.

122B · BF16~245 ГБ122B · FP8~125 ГБ122B · 4 бита~68 ГБ
Связанные термины