[ТЕЛЕФОН]Заявка
Глоссарий · Форматы чисел

Что такое FP8

Все термины

Определение

8-битный формат с плавающей точкой для обучения и инференса: вдвое меньше памяти, чем FP16, при небольшой потере точности.

FP8 аппаратно поддерживают NVIDIA Hopper (H100, H200), Ada (L40S, RTX 6000 Ada, RTX 4090), Blackwell и AMD Instinct начиная с MI300. В Ampere (A100, RTX A-серия) и Turing (Quadro RTX 8000) такой поддержки нет: FP8-веса там если и запускаются, то через преобразование в FP16 и без ускорения вычислений.

В FP8 выпущены многие модели: DeepSeek V3 и V4 (в V4 — всё, кроме экспертов), Mistral Large 4, GigaChat 3.5 — её сразу обучали в FP8. Веса в FP8 занимают примерно 1 ГБ на миллиард параметров.

Qwen3.6-27B · FP8~28 ГБQwen3.5-122B · FP8~125 ГБGigaChat 3.5 · FP8~435 ГБ
Связанные термины