Определение
Архитектура «смесь экспертов»: модель состоит из многих блоков-экспертов, а на каждый токен работают лишь несколько. Пример — DeepSeek V4, Qwen3.5, gpt-oss.
Для подбора железа важны два числа. Объём памяти задаёт общее число параметров: все эксперты должны лежать в VRAM, даже если на токен работает лишь несколько. Скорость задаёт число активных параметров: на каждый токен GPU читает только их. Ниже — общее и активное число параметров у трёх моделей.
Пример: у gpt-oss-120b 117 млрд параметров, из них на токен работают 5,1 млрд. В формате MXFP4 модель занимает около 63 ГБ, помещается на одну карту на 80–96 ГБ и отвечает быстрее плотной модели того же размера.
Экспертов можно выгрузить в оперативную память (llama.cpp, KTransformers) и запустить модель больше VRAM, но генерация станет в разы медленнее.