AMD EPYC или Intel Xeon для GPU-сервера
Сравниваем EPYC и Xeon для серверов с 1–8 GPU. Считаем линии PCIe и проверяем память, топологию, питание и охлаждение.
Для сервера на одну или две видеокарты под инференс LLM обычно достаточно платформы с нужным объёмом памяти и подходящими слотами PCIe. Для четырёх или восьми GPU выбор чаще определяет схема подключения ускорителей, накопителей и сетевых карт. AMD EPYC 9005 стоит рассмотреть для односокетной сборки, которой нужны 12 каналов DDR5 и много линий PCIe. У Intel Xeon 6 есть готовые двухсокетные платформы на восемь GPU и отдельные односокетные модели со 136 линиями PCIe 5.0.
Начните со списка устройств и сценария работы. Восемь независимых копий модели и одна модель, распределённая по восьми картам, предъявляют разные требования к обмену данными между GPU. По одному названию процессора или числу ядер это различие не видно.
AMD EPYC 9005 и Intel Xeon 6 в цифрах
Ниже три процессора из конфигураций в каталоге. У Xeon 6 серии 6700 и 6900 используют разные сокеты. Для других процессоров, в том числе EPYC 9006 на SP7 или SP8, проверяйте сокет и число каналов отдельно. Линейка серверных процессоров AMD.
| Параметр | AMD EPYC 9575F | Intel Xeon 6760P | Intel Xeon 6944P |
|---|---|---|---|
| Семейство | EPYC 9005 | Xeon 6 6700P | Xeon 6 6900P |
| Ядра / потоки | 64 / 128 | 64 / 128 | 72 / 144 |
| Сокет | SP5 | LGA 4710 | LGA 7529 |
| Паспортный предел PCIe 5.0 | 128 линий в системе с одним CPU | 88 линий на CPU | 96 линий на CPU |
| Каналы памяти на сокет | 12 | 8 | 12 |
| Максимальная скорость DDR5 для этих моделей | 6400 MT/s | 6400 MT/s | 6400 MT/s |
| Номинальный TDP на CPU | 400 Вт | 330 Вт | 350 Вт |
В конфигурации с двумя CPU AMD указывает для EPYC 9005 до 160 линий PCIe 5.0 на систему. У Intel есть отдельные односокетные Xeon 6 с 136 линиями, например 6781P. Чтобы узнать, сколько устройств заработает в нужном режиме, сверяйте спецификацию CPU с блок-схемой сервера и точным составом райзеров. Спецификация EPYC 9575F, архитектура AMD EPYC 9005, спецификация Xeon 6760P, спецификация Xeon 6944P, спецификация Xeon 6781P.
Как посчитать линии PCIe для четырёх и восьми GPU
Для первичного расчёта сложите ширину каждого прямого подключения. Четыре GPU по x16, два NVMe по x4 и сетевой адаптер x16 требуют 88 линий. Ещё один NVMe увеличит бюджет до 92. Если шасси подключает диски через контроллер или часть устройств через PCIe-коммутатор, проверьте ширину его линии до CPU и одновременную нагрузку на неё.
Восемь карт x16 занимают 128 линий при прямом подключении. На односокетном EPYC 9005 такой набор исчерпывает заявленные 128 линий Gen5. Если нужны быстрые NVMe и сетевые адаптеры, ищите платформу с подходящей двухсокетной разводкой или с документированными PCIe-коммутаторами. Несколько устройств за коммутатором могут иметь собственные соединения x16 и одновременно делить его канал до CPU.
Райзер может иметь физический разъём x16 с электрическим подключением x8. По спецификации PCIe теоретическая пропускная способность Gen5 x16 после кодирования составляет около 63 ГБ/с в одном направлении, Gen5 x8 — около 31,5 ГБ/с. Скорость передачи приложения зависит и от размера пакетов, пути обмена и параллельного трафика. Технические материалы PCI-SIG.
Что меняют NUMA и связь между GPU
У двухсокетного сервера у каждого процессора есть локальная память и набор устройств PCIe. Когда процесс на одном сокете обращается к памяти или устройству другого, трафик пересекает межсокетную шину. У некоторых платформ несколько NUMA-доменов могут появиться и с одним процессором. На AMD EPYC 9005 за их разбиение отвечает параметр NPS в BIOS. Руководство AMD по NUMA.
Для одной модели с тензорным параллелизмом ищите короткие пути между картами, которые обмениваются данными на каждом шаге. Если модель целиком помещается на одной карте и вам нужны отдельные реплики, полезнее привязать каждую реплику к локальным CPU и памяти. Для межсерверного обучения у близости сетевого адаптера к GPU тоже есть практический смысл. В режиме GPUDirect RDMA производительность и поддержка прямой передачи зависят от пути PCIe между картой и адаптером. Документация vLLM по параллелизму, документация NVIDIA по GPUDirect RDMA.
Запросите вывод nvidia-smi topo -m для собранной системы. В матрице PIX означает путь через один PCIe-коммутатор, SYS — через системное соединение между узлами NUMA. Там же видны привязки к CPU и NUMA. Для приёмки замерьте обмен между выбранными картами, например тестом all_reduce_perf из NCCL Tests, и прогоните модель с рабочей длиной контекста и числом запросов. Для LLM зафиксируйте пропускную способность в токенах в секунду и p95 времени до первого токена. Справка NVIDIA SMI, NCCL Tests.
Сколько каналов памяти и ядер нужно
При DDR5-6400 теоретический максимум для 12 заполненных каналов составляет 614,4 ГБ/с на сокет, а для восьми — 409,6 ГБ/с. Расчёт использует 6400 млн передач в секунду, восемь байт полезных данных на канал и число каналов. Скорость на сервере зависит от модулей, числа DIMM на канал, BIOS и доступа к локальной памяти. Для равномерного заполнения каналов используйте схему установки из руководства сервера.
Дополнительные каналы помогают, когда CPU активно готовит батчи, декодирует входные данные или держит часть весов модели в RAM. Если модель и рабочие данные помещаются в VRAM, сравнивайте конфигурации по задержке и загрузке GPU. Для RAG учитывайте также нагрузку на поиск и индекс, если они работают на том же узле. Если у выбранного Xeon есть поддержка MRDIMM, проверьте точный SKU CPU и список памяти для платы. Например, Xeon 6962P допускает MRDIMM до 8800 MT/s. Спецификация Intel Xeon 6962P.
Как рассчитать питание и охлаждение
Восемь RTX PRO 6000 Blackwell Server Edition с максимальным лимитом 600 Вт дают до 4800 Вт при сложении лимитов ускорителей. Два EPYC 9575F с номинальным TDP 400 Вт добавляют к оценке ещё 800 Вт. Сумма 5,6 кВт относится к паспортным значениям GPU и CPU. Для стойки запросите расчёт входной мощности всей конфигурации с памятью, дисками, вентиляторами, потерями блоков питания и требуемым резервированием. Проверьте тепловой лимит шасси и допустимую температуру на входе под длительной нагрузкой. Спецификация NVIDIA RTX PRO 6000 Blackwell Server Edition, спецификация ASUS ESC8000A-E13.
Примеры серверов на EPYC и Xeon
ASUS ESC8000A-E13 на AMD EPYC
4U, два EPYC 9575F, восемь RTX PRO 6000 Blackwell Server Edition по 96 ГБ. Пример узла для нескольких реплик модели или распределённой нагрузки. ASUS указывает восемь GPU-слотов с соединениями Gen5 x16 и выделенные слоты для сетевых карт. Спецификация ASUS.
GIGABYTE G494-SB4-AAP2 на Intel Xeon
4U, два Xeon 6760P, восемь RTX PRO 6000 Blackwell Server Edition по 96 ГБ. Вариант с тем же набором ускорителей на платформе Xeon 6 6700. Производитель подтверждает поддержку восьми таких карт при температуре окружающего воздуха 25 °C. Сверьте блок-схему сервера с группами GPU и сетевых адаптеров, которые будут обмениваться данными. Спецификация GIGABYTE.
GIGABYTE G294-A22-AAP2 с одним CPU
2U, один Xeon 6944P, четыре RTX PRO 6000 Blackwell Server Edition по 96 ГБ. Вариант для стойки с ограниченным местом и нагрузки на четыре GPU. GIGABYTE указывает поддержку четырёх таких карт при температуре окружающего воздуха 25 °C. Спецификация GIGABYTE.
Товары из статьи
Что проверить перед заказом GPU-сервера
- Нагрузку. Укажите модель, точность, длину контекста, параллельные запросы и способ распределения между картами.
- Разводку PCIe. Запросите номера слотов, поколение и электрическую ширину, общие линии коммутаторов и привязку GPU, NIC и NVMe к CPU.
- Память. Согласуйте ёмкость и раскладку модулей по каналам, скорость в этой комплектации и объём, доступный каждому NUMA-узлу.
- Питание и охлаждение. Уточните входную мощность при отказе одного блока питания, требования к стойке и температуру на входе при полной загрузке.
- Приёмку. Зафиксируйте версии драйвера и прошивки, целевые задержки, пропускную способность и рабочий тест.
Если число ускорителей ещё предстоит определить, начните с расчёта видеопамяти для инференса LLM. Затем сравните платформы в каталоге GPU-серверов или соберите состав в конфигураторе СерверБокс. Для пилота с одним разработчиком также рассмотрите настольную станцию NVIDIA DGX Spark.
Частые вопросы
Что важнее для инференса LLM, процессор или видеокарта?
Сначала определите объём VRAM и пропускную способность GPU, которые нужны модели, контексту и числу запросов. Затем оцените, хватает ли CPU для подготовки входных данных, обслуживания запросов и передачи между устройствами.
Хватит ли одного процессора на четыре GPU?
Да, такие платформы есть. Для четырёх прямых подключений x16 уйдут 64 линии. Добавьте сеть и накопители и проверьте, как шасси распределяет оставшиеся линии. Для платформы с коммутатором отдельно проверяйте общий канал до CPU.
Когда оправдан второй процессор?
Когда требуются дополнительные каналы памяти, CPU-ядра или прямые подключения PCIe, которые реализованы на втором сокете выбранного сервера. Для двухсокетной конфигурации полезно заранее составить карту привязки процессов к GPU, памяти и сети.
Заменяет ли PCIe 5.0 x16 интерфейс NVLink?
PCIe связывает GPU с платформой и может обеспечивать обмен между картами при поддержке P2P. NVLink — отдельный интерфейс, доступный у определённых ускорителей и систем. Для многокарточной модели сначала проверьте, какой путь обмена доступен каждой группе GPU, затем измерьте его в целевом режиме.





