[ТЕЛЕФОН]Заявка
Глоссарий · Форматы чисел

Что такое квантование

Все термины

Определение

Сжатие весов модели до меньшего числа бит (8 или 4): модель занимает меньше памяти и работает быстрее, теряя немного точности.

Распространённые форматы: FP8 и INT8 — 1 байт на параметр; 4-битные GGUF (Q4_K_M), AWQ, GPTQ, NVFP4 и MXFP4 — около 0,55–0,6 байта с учётом множителей масштаба.

Многие модели 2025–2026 годов выпускают уже квантованными: gpt-oss — в MXFP4, DeepSeek V4 — в FP4 и FP8, Kimi K2.6 — в INT4, GigaChat 3.5 — в FP8. Их размер не нужно пересчитывать из FP16 — смотрите объём файлов модели.

Чтобы 4-битная модель работала быстро, формат должны поддерживать и движок, и GPU: FP4 аппаратно считают NVIDIA Blackwell (NVFP4 и MXFP4) и AMD MI350 (MXFP4), на остальных картах обычно используют GGUF, AWQ или GPTQ.

Связанные термины