[ТЕЛЕФОН]Заявка
Глоссарий · Модели и ПО

Что такое тензорный параллелизм

Все термины

Определение

Способ разделить каждый слой модели между несколькими GPU, чтобы запустить модель больше памяти одной карты. Нужна быстрая связь между GPU.

Карты постоянно обмениваются промежуточными результатами, поэтому скорость зависит от связи. В серверах HGX (H200, B200, B300) GPU связаны NVLink, а PCIe-карты — RTX PRO 6000 Blackwell, L40S, Radeon AI PRO R9700 — лучше делить не больше чем на 4.

Для моделей MoE (DeepSeek V4, Qwen3.5, Kimi K3) применяют и параллелизм экспертов: каждая карта хранит свою часть экспертов. vLLM и SGLang поддерживают оба способа.

Связанные термины