[ТЕЛЕФОН]Заявка
Сравнение

DGX Spark или RTX 4090 для локальных LLM

Короткий ответ

DGX Spark — когда модель не помещается в 24 ГБ. RTX 4090 — когда помещается и важна скорость.

У Spark в пять с лишним раз больше памяти для модели, у RTX 4090 — почти в четыре раза быстрее память. Поэтому выбор зависит от размера модели.

NVIDIA DGX Spark
GeForce RTX 4090

Характеристики

ПараметрNVIDIA DGX SparkGeForce RTX 4090
ТипГотовая настольная системаВидеокарта, нужен компьютер
Память для модели128 ГБ LPDDR5x, общая с процессором24 ГБ GDDR6X
Пропускная способность273 ГБ/с1008 ГБ/с
АрхитектураGrace Blackwell (GB10), процессор ArmAda Lovelace, 2022 год
Аппаратный FP4ДаНет, только FP8
ЭнергопотреблениеБлок питания 240 Вт на всю систему450 Вт только карта
Связка несколькихДо четырёх систем через ConnectX-7Несколько карт по PCIe, без NVLink
ПОDGX OS на базе Ubuntu, CUDACUDA, Windows или Linux

Что выбрать

Берите DGX Spark, если
  • модель не помещается в 24 ГБ: gpt-oss-120b, Qwen3.5-122B-A10B, Nemotron 3 Super целиком помещаются в 128 ГБ
  • важны компактность и тишина на рабочем месте
  • нужна та же программная среда, что на серверах NVIDIA
Берите RTX 4090, если
  • модели помещаются в 24 ГБ: Qwen3.8-27B или Gemma 4 31B в 4 битах, gpt-oss-20b
  • важна скорость генерации: память быстрее почти в 4 раза
  • уже есть рабочая станция, куда можно поставить карту

Почему память решает

Чтобы модель работала быстро, её веса должны целиком поместиться в память, и ещё нужно место под контекст. В 24 ГБ помещаются плотные модели примерно до 30B в 4 битах: Qwen3.8-27B занимает около 16 ГБ, Gemma 4 31B — около 18 ГБ. У гибридных моделей вроде Qwen3.6-27B контекст обходится дёшево: около 64 КБ на токен, 32 тысячи токенов — около 2 ГБ.

В 128 ГБ DGX Spark помещаются MoE-модели на 120B: gpt-oss-120b в родном формате MXFP4 занимает чуть больше 60 ГБ, Qwen3.5-122B-A10B в 4 битах — около 68 ГБ. На одной RTX 4090 они целиком не помещаются: часть весов придётся держать в оперативной памяти компьютера, а это в разы медленнее.

Когда модель помещается в обе системы, быстрее отвечает та, у которой быстрее память: на каждый токен GPU заново читает веса. Здесь у RTX 4090 преимущество — 1008 ГБ/с против 273 ГБ/с.

Почему для Spark берут MoE-модели

У MoE-модели на каждый токен читаются только активные параметры. У gpt-oss-120b их 5,1 млрд из 117 млрд, поэтому теоретический потолок на DGX Spark — около 100 токенов в секунду на один поток (273 ГБ/с ÷ ~2,7 ГБ на токен); на практике меньше. Плотная модель на 70B в 8 битах на том же Spark упрётся в потолок около 4 токенов в секунду.

Что с командой и продакшном

Обе системы рассчитаны на одного пользователя или небольшую группу. Для сервиса на десятки пользователей нужен сервер с несколькими GPU и запасом памяти под контекст каждого пользователя — смотрите конфигурации серверов для LLM на 70–130B.

Товары из сравнения

Суперкомпьютер Nvidia DGX Spark GB10 940-54242-0006-000

Суперкомпьютер Nvidia DGX Spark GB10 940-54242-0006-000

Основная задача: Инференс / Дообучение моделей / RAG-системы / Анализ данных / Визуализация и рендеринг · Процессор (CPU): ARM v9.2-A (GB10) · Видеокарта (GPU): NVIDIA GB10 · Количество GPU, шт: 1

P/N: 940-54242-0006-000
1 085 200 ₽с НДС
Под заказ · 3–5 недельПоставка через офис в Гонконге
Получить КП

GPU-сервер Phanteks Enthoo Pro 2 Server Edition (1× RTX 5090 32GB, 1× EPYC 74F3, RAM 512GB)

Основная задача: Инференс / RAG-системы / Анализ данных / Научные расчеты (HPC) / Визуализация и рендеринг · Процессор (CPU): AMD EPYC · Видеокарта (GPU): Palit GeForce RTX 5090 · Количество GPU, шт: 1

Арт. SB-000133
1 593 300 ₽с НДС
Под заказ · 3–5 недельПоставка через офис в Гонконге
Получить КП
Видеокарта NVIDIA RTX PRO 6000 Blackwell Workstation Edition 96GB GDDR7 900-5G144-0000-000

Видеокарта NVIDIA RTX PRO 6000 Blackwell Workstation Edition 96GB GDDR7 900-5G144-0000-000

Количество видеовыходов: 4 · Видеовыходы: DisplayPort · Объем видеопамяти: 96GB · Разрядность шины памяти: 512 bit

P/N: 900-5G144-0000-000 / 699-5G144-0520-B00 / 900-5G144-2500-000
2 967 700 ₽с НДС
Под заказ · 3–5 недельПоставка через офис в Гонконге
Получить КП

Частые вопросы

Можно ли поставить две RTX 4090?

Да, если платформа даёт достаточно линий PCIe, а блок питания и охлаждение рассчитаны на 900+ Вт только для карт. NVLink у RTX 4090 нет: модель делится между картами, обмен идёт по PCIe. Для плотной установки удобнее турбинные версии, например GIGABYTE RTX 4090 Turbo.

А если взять RTX 5090?

RTX 5090 — нынешний флагман GeForce на Blackwell: 32 ГБ GDDR7, 1792 ГБ/с и аппаратный FP4, но 575 Вт только на карту. Памяти на треть больше, чем у RTX 4090, и она в 1,8 раза быстрее, но это всё равно вчетверо меньше 128 ГБ у Spark. В каталоге RTX 5090 есть в составе рабочей станции.

DGX Spark работает с Windows?

Нет, он поставляется с DGX OS на базе Ubuntu. Доступ к моделям — через API или веб-интерфейс. Если нужна Windows и много общей памяти, посмотрите компьютеры на RTX Spark (N1X): у них до 128 ГБ общей памяти.

Чем DGX Spark отличается от ASUS Ascent GX10, Dell Pro Max и других систем на GB10?

Внутри тот же чип GB10, у всех систем в каталоге 128 ГБ общей памяти и та же DGX OS. Отличаются корпусом, охлаждением, объёмом SSD и ценой. Все варианты собраны в разделе DGX Spark.

Что делать, если 128 ГБ мало?

Связать несколько систем на GB10 через ConnectX-7. По данным NVIDIA, две системы запускают модели до 400 млрд параметров, четыре (через коммутатор 200 GbE) — до 700 млрд; это модели в 4 битах. Если нужна ещё и скорость, берут RTX PRO 6000 Blackwell с 96 ГБ GDDR7 на карту или сервер с несколькими GPU.

Что взять для генерации изображений?

Если модели помещаются в 24 ГБ, RTX 4090 обычно быстрее. Для больших моделей и пакетной обработки — Spark или сервер.