Определение
8-битный формат с плавающей точкой для обучения и инференса: вдвое меньше памяти, чем FP16, при небольшой потере точности.
FP8 аппаратно поддерживают NVIDIA Hopper (H100, H200), Ada (L40S, RTX 6000 Ada, RTX 4090), Blackwell и AMD Instinct начиная с MI300. В Ampere (A100, RTX A-серия) и Turing (Quadro RTX 8000) такой поддержки нет: FP8-веса там если и запускаются, то через преобразование в FP16 и без ускорения вычислений.
В FP8 выпущены многие модели: DeepSeek V3 и V4 (в V4 — всё, кроме экспертов), Mistral Large 4, GigaChat 3.5 — её сразу обучали в FP8. Веса в FP8 занимают примерно 1 ГБ на миллиард параметров.