[ТЕЛЕФОН]Заявка
Глоссарий · Модели и ПО

Что такое KV-кэш

Все термины

Определение

Память для уже обработанного контекста при генерации; растёт с длиной контекста и числом одновременных запросов.

Размер на один токен: 2 (ключи и значения) × число слоёв полного внимания × число KV-голов × размер головы × байт на число. Итог умножают на длину контекста и число одновременных запросов; число слоёв и голов есть в config.json модели.

У классической плотной модели вроде Llama 3.3 70B (80 слоёв, 8 KV-голов по 128) это 320 КБ на токен в BF16: 20 пользователей с контекстом 8K занимают больше 50 ГБ — сопоставимо с весами модели в FP8.

Новые модели экономнее. У Qwen3.6-27B кэш растёт только в 16 слоях из 64 — 64 КБ на токен. DeepSeek V4 сжимает внимание: у V4.1-Flash, по карточке модели, 890 байт на токен, и миллион токенов контекста занимает меньше 1 ГБ. Кэш можно хранить в FP8 — он займёт вдвое меньше.

Llama 3.3 70B320 КБ/токенQwen3.6-27B64 КБ/токенDeepSeek V4.1-Flash890 Б/токен
Связанные термины