Определение
Память видеокарты. Определяет, какая модель поместится на GPU: веса, контекст и промежуточные данные.
Чтобы модель работала быстро, её веса должны целиком поместиться в VRAM вместе с KV-кэшем. Оценка весов: число параметров × байт на параметр — 2 байта в BF16 и FP16, 1 в FP8, около 0,55–0,6 в 4 битах с учётом множителей масштаба.
У моделей MoE в памяти должны лежать все эксперты, даже если на токен работает лишь несколько: Qwen3.5-122B-A10B в 4 битах занимает около 68 ГБ при 10 млрд активных параметров. Многие модели выпускают уже сжатыми — DeepSeek-V4-Flash весит около 160 ГБ, gpt-oss-120b — около 63 ГБ.