[ТЕЛЕФОН]Заявка
Глоссарий · Модели и ПО

Что такое MoE

Все термины

Определение

Архитектура «смесь экспертов»: модель состоит из многих блоков-экспертов, а на каждый токен работают лишь несколько. Пример — DeepSeek V4, Qwen3.5, gpt-oss.

Для подбора железа важны два числа. Объём памяти задаёт общее число параметров: все эксперты должны лежать в VRAM, даже если на токен работает лишь несколько. Скорость задаёт число активных параметров: на каждый токен GPU читает только их. Ниже — общее и активное число параметров у трёх моделей.

Пример: у gpt-oss-120b 117 млрд параметров, из них на токен работают 5,1 млрд. В формате MXFP4 модель занимает около 63 ГБ, помещается на одну карту на 80–96 ГБ и отвечает быстрее плотной модели того же размера.

Экспертов можно выгрузить в оперативную память (llama.cpp, KTransformers) и запустить модель больше VRAM, но генерация станет в разы медленнее.

DeepSeek-V4-Pro1,6T / 49BQwen3.5-122B-A10B122B / 10Bgpt-oss-120b117B / 5,1B