Определение
Память для уже обработанного контекста при генерации; растёт с длиной контекста и числом одновременных запросов.
Размер на один токен: 2 (ключи и значения) × число слоёв полного внимания × число KV-голов × размер головы × байт на число. Итог умножают на длину контекста и число одновременных запросов; число слоёв и голов есть в config.json модели.
У классической плотной модели вроде Llama 3.3 70B (80 слоёв, 8 KV-голов по 128) это 320 КБ на токен в BF16: 20 пользователей с контекстом 8K занимают больше 50 ГБ — сопоставимо с весами модели в FP8.
Новые модели экономнее. У Qwen3.6-27B кэш растёт только в 16 слоях из 64 — 64 КБ на токен. DeepSeek V4 сжимает внимание: у V4.1-Flash, по карточке модели, 890 байт на токен, и миллион токенов контекста занимает меньше 1 ГБ. Кэш можно хранить в FP8 — он займёт вдвое меньше.