[ТЕЛЕФОН]Заявка
ИИ-инфраструктура

AMD EPYC или Intel Xeon для GPU-сервера

Сравниваем EPYC и Xeon для серверов с 1–8 GPU. Считаем линии PCIe и проверяем память, топологию, питание и охлаждение.

СерверБокс8 мин чтения
Серверный процессор AMD EPYC

Для сервера на одну или две видеокарты под инференс LLM обычно достаточно платформы с нужным объёмом памяти и подходящими слотами PCIe. Для четырёх или восьми GPU выбор чаще определяет схема подключения ускорителей, накопителей и сетевых карт. AMD EPYC 9005 стоит рассмотреть для односокетной сборки, которой нужны 12 каналов DDR5 и много линий PCIe. У Intel Xeon 6 есть готовые двухсокетные платформы на восемь GPU и отдельные односокетные модели со 136 линиями PCIe 5.0.

Начните со списка устройств и сценария работы. Восемь независимых копий модели и одна модель, распределённая по восьми картам, предъявляют разные требования к обмену данными между GPU. По одному названию процессора или числу ядер это различие не видно.

AMD EPYC 9005 и Intel Xeon 6 в цифрах

Ниже три процессора из конфигураций в каталоге. У Xeon 6 серии 6700 и 6900 используют разные сокеты. Для других процессоров, в том числе EPYC 9006 на SP7 или SP8, проверяйте сокет и число каналов отдельно. Линейка серверных процессоров AMD.

Паспортные параметры трёх процессоров
ПараметрAMD EPYC 9575FIntel Xeon 6760PIntel Xeon 6944P
СемействоEPYC 9005Xeon 6 6700PXeon 6 6900P
Ядра / потоки64 / 12864 / 12872 / 144
СокетSP5LGA 4710LGA 7529
Паспортный предел PCIe 5.0128 линий в системе с одним CPU88 линий на CPU96 линий на CPU
Каналы памяти на сокет12812
Максимальная скорость DDR5 для этих моделей6400 MT/s6400 MT/s6400 MT/s
Номинальный TDP на CPU400 Вт330 Вт350 Вт

В конфигурации с двумя CPU AMD указывает для EPYC 9005 до 160 линий PCIe 5.0 на систему. У Intel есть отдельные односокетные Xeon 6 с 136 линиями, например 6781P. Чтобы узнать, сколько устройств заработает в нужном режиме, сверяйте спецификацию CPU с блок-схемой сервера и точным составом райзеров. Спецификация EPYC 9575F, архитектура AMD EPYC 9005, спецификация Xeon 6760P, спецификация Xeon 6944P, спецификация Xeon 6781P.

Как посчитать линии PCIe для четырёх и восьми GPU

Для первичного расчёта сложите ширину каждого прямого подключения. Четыре GPU по x16, два NVMe по x4 и сетевой адаптер x16 требуют 88 линий. Ещё один NVMe увеличит бюджет до 92. Если шасси подключает диски через контроллер или часть устройств через PCIe-коммутатор, проверьте ширину его линии до CPU и одновременную нагрузку на неё.

Восемь карт x16 занимают 128 линий при прямом подключении. На односокетном EPYC 9005 такой набор исчерпывает заявленные 128 линий Gen5. Если нужны быстрые NVMe и сетевые адаптеры, ищите платформу с подходящей двухсокетной разводкой или с документированными PCIe-коммутаторами. Несколько устройств за коммутатором могут иметь собственные соединения x16 и одновременно делить его канал до CPU.

Райзер может иметь физический разъём x16 с электрическим подключением x8. По спецификации PCIe теоретическая пропускная способность Gen5 x16 после кодирования составляет около 63 ГБ/с в одном направлении, Gen5 x8 — около 31,5 ГБ/с. Скорость передачи приложения зависит и от размера пакетов, пути обмена и параллельного трафика. Технические материалы PCI-SIG.

Что меняют NUMA и связь между GPU

У двухсокетного сервера у каждого процессора есть локальная память и набор устройств PCIe. Когда процесс на одном сокете обращается к памяти или устройству другого, трафик пересекает межсокетную шину. У некоторых платформ несколько NUMA-доменов могут появиться и с одним процессором. На AMD EPYC 9005 за их разбиение отвечает параметр NPS в BIOS. Руководство AMD по NUMA.

Для одной модели с тензорным параллелизмом ищите короткие пути между картами, которые обмениваются данными на каждом шаге. Если модель целиком помещается на одной карте и вам нужны отдельные реплики, полезнее привязать каждую реплику к локальным CPU и памяти. Для межсерверного обучения у близости сетевого адаптера к GPU тоже есть практический смысл. В режиме GPUDirect RDMA производительность и поддержка прямой передачи зависят от пути PCIe между картой и адаптером. Документация vLLM по параллелизму, документация NVIDIA по GPUDirect RDMA.

Запросите вывод nvidia-smi topo -m для собранной системы. В матрице PIX означает путь через один PCIe-коммутатор, SYS — через системное соединение между узлами NUMA. Там же видны привязки к CPU и NUMA. Для приёмки замерьте обмен между выбранными картами, например тестом all_reduce_perf из NCCL Tests, и прогоните модель с рабочей длиной контекста и числом запросов. Для LLM зафиксируйте пропускную способность в токенах в секунду и p95 времени до первого токена. Справка NVIDIA SMI, NCCL Tests.

Сколько каналов памяти и ядер нужно

При DDR5-6400 теоретический максимум для 12 заполненных каналов составляет 614,4 ГБ/с на сокет, а для восьми — 409,6 ГБ/с. Расчёт использует 6400 млн передач в секунду, восемь байт полезных данных на канал и число каналов. Скорость на сервере зависит от модулей, числа DIMM на канал, BIOS и доступа к локальной памяти. Для равномерного заполнения каналов используйте схему установки из руководства сервера.

Дополнительные каналы помогают, когда CPU активно готовит батчи, декодирует входные данные или держит часть весов модели в RAM. Если модель и рабочие данные помещаются в VRAM, сравнивайте конфигурации по задержке и загрузке GPU. Для RAG учитывайте также нагрузку на поиск и индекс, если они работают на том же узле. Если у выбранного Xeon есть поддержка MRDIMM, проверьте точный SKU CPU и список памяти для платы. Например, Xeon 6962P допускает MRDIMM до 8800 MT/s. Спецификация Intel Xeon 6962P.

Как рассчитать питание и охлаждение

Восемь RTX PRO 6000 Blackwell Server Edition с максимальным лимитом 600 Вт дают до 4800 Вт при сложении лимитов ускорителей. Два EPYC 9575F с номинальным TDP 400 Вт добавляют к оценке ещё 800 Вт. Сумма 5,6 кВт относится к паспортным значениям GPU и CPU. Для стойки запросите расчёт входной мощности всей конфигурации с памятью, дисками, вентиляторами, потерями блоков питания и требуемым резервированием. Проверьте тепловой лимит шасси и допустимую температуру на входе под длительной нагрузкой. Спецификация NVIDIA RTX PRO 6000 Blackwell Server Edition, спецификация ASUS ESC8000A-E13.

Примеры серверов на EPYC и Xeon

ASUS ESC8000A-E13 на AMD EPYC

4U, два EPYC 9575F, восемь RTX PRO 6000 Blackwell Server Edition по 96 ГБ. Пример узла для нескольких реплик модели или распределённой нагрузки. ASUS указывает восемь GPU-слотов с соединениями Gen5 x16 и выделенные слоты для сетевых карт. Спецификация ASUS.

GIGABYTE G494-SB4-AAP2 на Intel Xeon

4U, два Xeon 6760P, восемь RTX PRO 6000 Blackwell Server Edition по 96 ГБ. Вариант с тем же набором ускорителей на платформе Xeon 6 6700. Производитель подтверждает поддержку восьми таких карт при температуре окружающего воздуха 25 °C. Сверьте блок-схему сервера с группами GPU и сетевых адаптеров, которые будут обмениваться данными. Спецификация GIGABYTE.

GIGABYTE G294-A22-AAP2 с одним CPU

2U, один Xeon 6944P, четыре RTX PRO 6000 Blackwell Server Edition по 96 ГБ. Вариант для стойки с ограниченным местом и нагрузки на четыре GPU. GIGABYTE указывает поддержку четырёх таких карт при температуре окружающего воздуха 25 °C. Спецификация GIGABYTE.

Товары из статьи

GPU-сервер ASUS ESC8000A-E13 (8× RTX PRO 6000 BSE 96GB, 2× EPYC 9575F, RAM 768GB)
AI серверы

GPU-сервер ASUS ESC8000A-E13 (8× RTX PRO 6000 BSE 96GB, 2× EPYC 9575F, RAM 768GB)

Основная задача: Обучение моделей / Инференс / Дообучение моделей / RAG-системы / Визуализация и рендеринг · Процессор (CPU): AMD EPYC · Видеокарта (GPU): NVIDIA RTX PRO 6000 Blackwell · Количество GPU, шт: 8

43 591 700 ₽с НДС
Под заказ · 3–5 недельПоставка через офис в Гонконге
Получить КП
GPU-сервер GIGABYTE G494-SB4-AAP2 (8× RTX PRO 6000 BSE 96GB, 2× Xeon 6760P, RAM 1.1TB)
AI серверы

GPU-сервер GIGABYTE G494-SB4-AAP2 (8× RTX PRO 6000 BSE 96GB, 2× Xeon 6760P, RAM 1.1TB)

Основная задача: Обучение моделей / Инференс / Дообучение моделей / RAG-системы / Визуализация и рендеринг · Процессор (CPU): Intel Xeon 6-series · Видеокарта (GPU): NVIDIA RTX PRO 6000 Blackwell · Количество GPU, шт: 8

46 036 400 ₽с НДС
Под заказ · 3–5 недельПоставка через офис в Гонконге
Получить КП
GPU-сервер GIGABYTE G294-A22-AAP2 (4× RTX PRO 6000 BSE 96GB, 1× Xeon 6944P, RAM 1.1TB)
AI серверы

GPU-сервер GIGABYTE G294-A22-AAP2 (4× RTX PRO 6000 BSE 96GB, 1× Xeon 6944P, RAM 1.1TB)

Основная задача: Обучение моделей / Инференс / Дообучение моделей / RAG-системы / Визуализация и рендеринг · Процессор (CPU): Intel Xeon 6-series · Видеокарта (GPU): NVIDIA RTX PRO 6000 Blackwell · Количество GPU, шт: 4

34 012 500 ₽с НДС
Под заказ · 3–5 недельПоставка через офис в Гонконге
Получить КП

Что проверить перед заказом GPU-сервера

  1. Нагрузку. Укажите модель, точность, длину контекста, параллельные запросы и способ распределения между картами.
  2. Разводку PCIe. Запросите номера слотов, поколение и электрическую ширину, общие линии коммутаторов и привязку GPU, NIC и NVMe к CPU.
  3. Память. Согласуйте ёмкость и раскладку модулей по каналам, скорость в этой комплектации и объём, доступный каждому NUMA-узлу.
  4. Питание и охлаждение. Уточните входную мощность при отказе одного блока питания, требования к стойке и температуру на входе при полной загрузке.
  5. Приёмку. Зафиксируйте версии драйвера и прошивки, целевые задержки, пропускную способность и рабочий тест.

Если число ускорителей ещё предстоит определить, начните с расчёта видеопамяти для инференса LLM. Затем сравните платформы в каталоге GPU-серверов или соберите состав в конфигураторе СерверБокс. Для пилота с одним разработчиком также рассмотрите настольную станцию NVIDIA DGX Spark.

Частые вопросы

Что важнее для инференса LLM, процессор или видеокарта?

Сначала определите объём VRAM и пропускную способность GPU, которые нужны модели, контексту и числу запросов. Затем оцените, хватает ли CPU для подготовки входных данных, обслуживания запросов и передачи между устройствами.

Хватит ли одного процессора на четыре GPU?

Да, такие платформы есть. Для четырёх прямых подключений x16 уйдут 64 линии. Добавьте сеть и накопители и проверьте, как шасси распределяет оставшиеся линии. Для платформы с коммутатором отдельно проверяйте общий канал до CPU.

Когда оправдан второй процессор?

Когда требуются дополнительные каналы памяти, CPU-ядра или прямые подключения PCIe, которые реализованы на втором сокете выбранного сервера. Для двухсокетной конфигурации полезно заранее составить карту привязки процессов к GPU, памяти и сети.

Заменяет ли PCIe 5.0 x16 интерфейс NVLink?

PCIe связывает GPU с платформой и может обеспечивать обмен между картами при поддержке P2P. NVLink — отдельный интерфейс, доступный у определённых ускорителей и систем. Для многокарточной модели сначала проверьте, какой путь обмена доступен каждой группе GPU, затем измерьте его в целевом режиме.

Читайте также

Гайды · 8 мин

Как выбрать GPU для инференса LLM

Считаем видеопамять на примере Qwen 32B, сравниваем GPU на 32, 48 и 96 ГБ и разбираем, когда двигателю инференса нужно несколько карт.

Обзоры · 7 мин

NVIDIA DGX Spark 128 ГБ для локальных LLM

Разбираем, что даёт GB10 со 128 ГБ общей памяти и когда стоит выбрать стоечный GPU-сервер для локальных LLM, RAG или дообучения.