Определение
4-битный формат с плавающей точкой: модель занимает почти вчетверо меньше памяти, чем в FP16. Аппаратно его считают GPU NVIDIA Blackwell и AMD Instinct MI350.
На практике используют два варианта. NVFP4 (формат NVIDIA) хранит общий множитель масштаба на каждые 16 чисел, MXFP4 (открытый стандарт OCP) — на каждые 32. С множителями выходит 4,25–4,5 бита на параметр, то есть около 0,55 байта, а не ровно 0,5.
Многие модели выпущены сразу в 4 битах: gpt-oss и Kimi K3 — в MXFP4, у DeepSeek V4 в FP4 хранятся эксперты. У Nemotron 3 Super и Ultra, Mistral Large 4 и Small 4 есть официальные версии в NVFP4. Пересчитывать их размер из FP16 не нужно: gpt-oss-120b занимает около 63 ГБ и помещается на одну карту на 80–96 ГБ.
FP4 аппаратно поддерживают NVIDIA Blackwell — B200, B300, GB10 в DGX Spark, RTX PRO Blackwell, GeForce RTX 5090 — и AMD Instinct MI350X и MI355X (MXFP4). На H100, H200, L40S и RTX 4090 такие веса запускаются только через отдельные ядра движка: поддержку и скорость проверяйте для конкретной модели в vLLM, SGLang или llama.cpp.