Как выбрать GPU для инференса LLM
Считаем видеопамять на примере Qwen 32B, сравниваем GPU на 32, 48 и 96 ГБ и разбираем, когда двигателю инференса нужно несколько карт.
Для локального запуска LLM посчитайте память под веса модели, KV-кэш и служебные буферы движка. Например, у Qwen2.5-32B-Instruct в AWQ веса занимают около 18 ГиБ, а один активный запрос на 8 192 токена добавляет 2 ГиБ кэша BF16. Четыре запроса по 32 768 токенов увеличивают расчётную потребность до 50 ГиБ ещё до запуска движка. Одной и той же модели может хватить настольной карты с 32 ГБ, а сервису с несколькими длинными диалогами понадобится GPU с большей памятью.
Сколько видеопамяти нужно для LLM
Запишите точное название модели и формат весов, затем оцените длину входа и ответа и число запросов, которые движок обрабатывает одновременно. В RAG-приложении во вход входят и фрагменты документов, которые поиск добавляет к вопросу. В чате туда же попадают системная инструкция и история диалога. Для пикового сценария используйте длинные запросы, характерные для вашей работы.
Потребность в VRAM складывается из трёх частей.
- Веса модели. Их размер определяют число параметров и формат хранения. Для модели с несколькими адаптерами или зрительным модулем учтите и эти компоненты, если они будут загружены.
- KV-кэш. Хранит ключи и значения для уже обработанных токенов. Чем больше активных токенов в очередной партии, тем больше кэш у моделей с полным вниманием.
- Память движка. Нужна для активаций, рабочих буферов, CUDA-графов и других операций. Объём меняется с версией движка, размером пакета и режимом запуска. Его стоит измерить на выбранном стеке.
Как рассчитать память для весов модели
Для первой оценки умножьте число параметров на число байт на параметр. Форматы BF16 и FP16 используют 2 байта, FP8 и INT8 — 1 байт, идеальная упаковка 4-битных весов — 0,5 байта. В таблице приведены десятичные гигабайты (1 ГБ = 10⁹ байт). При сверке с отчётом движка переведите их в гибибайты (1 ГиБ = 2³⁰ байт).
| Размер модели | BF16 / FP16 | FP8 / INT8 | 4 бита |
|---|---|---|---|
| 8B | 16 ГБ | 8 ГБ | 4 ГБ |
| 14B | 28 ГБ | 14 ГБ | 7 ГБ |
| 32B | 64 ГБ | 32 ГБ | 16 ГБ |
| 70B | 140 ГБ | 70 ГБ | 35 ГБ |
Это арифметическая оценка только для весов. Квантованные чекпойнты содержат коэффициенты масштабирования, а часть тензоров может оставаться в более высокой точности. Например, тензоры официальной Qwen2.5-32B-Instruct-AWQ занимают 19,33 ГБ (18,00 ГиБ). Тензоры обычной BF16-версии занимают 65,53 ГБ (61,03 ГиБ). Для сметы используйте конкретный чекпойнт и проверьте, поддерживает ли GPU выбранное квантование в вашем движке. Индекс весов AWQ, индекс весов BF16.
Для MoE-модели, или смеси экспертов, при размещении целиком на GPU закладывайте вес всех экспертов. У gpt-oss-120b примерно 117 млрд параметров, из которых 5,1 млрд активны для одного токена. OpenAI публикует версию с весами экспертов в MXFP4 и указывает, что она может работать на одном GPU с 80 ГБ памяти. Настройки контекста и конкурентной нагрузки для своего сервиса определяйте на тесте. Карточка модели gpt-oss.
Как учесть KV-кэш и длину контекста
Для текстовой модели с полным вниманием и без переиспользования кэша между запросами оцените память на токен по формуле.
KV-кэш на токен = 2 × число слоёв × число KV-голов × размер головы × байт на элемент.
Двойка учитывает ключи K и значения V. У Qwen2.5-32B-Instruct 64 слоя, 8 KV-голов, 40 голов запросов и скрытая размерность 5 120. Размер головы равен 5 120 / 40 = 128. Для кэша BF16 расчёт даёт 2 × 64 × 8 × 128 × 2 = 262 144 байт, или 256 КиБ на токен. Конфигурация Qwen2.5-32B-Instruct.
| Активные запросы | Токенов на запрос | KV-кэш BF16 | Веса AWQ + KV-кэш |
|---|---|---|---|
| 1 | 8 192 | 2 ГиБ | ≈20 ГиБ |
| 4 | 8 192 | 8 ГиБ | ≈26 ГиБ |
| 4 | 32 768 | 32 ГиБ | ≈50 ГиБ |
В длину запроса здесь входят входные и уже сгенерированные токены. Таблица показывает полезный объём тензоров до округления блоков и накладных расходов. При ограничении в 32 ГБ VRAM для последнего режима нужно сократить контекст или число запросов либо выбрать GPU с большей памятью.
Формат весов и формат кэша настраиваются отдельно. Например, vLLM поддерживает FP8 KV-кэш. При переходе с BF16 на FP8 объём самих элементов кэша уменьшается примерно вдвое. Даже с FP8 последние четыре запроса и веса займут около 34 ГиБ до накладных расходов. Проверьте поддержку на выбранной карте и качество ответа на своих данных. У гибридных моделей, например Qwen3.6-27B, слои полного и линейного внимания используют разные состояния. Для них сверяйте расчёт с архитектурой модели и фактическим распределением памяти движка. Документация vLLM по KV-кэшу, конфигурация Qwen3.6-27B.
Как сравнивать скорость двух видеокарт
После проверки VRAM сравните карточки по задержке и пропускной способности на одинаковой нагрузке. При обработке длинного входа (prefill) важны вычисления, объём входа и реализация внимания. При генерации (decode) существенную роль часто играет пропускная способность памяти. Сервер с большим общим выходом в токенах за секунду может при этом медленнее отвечать пользователю, когда запрос попадает в очередь.
Для нагрузочного теста зафиксируйте модель, формат весов и кэша, версии драйвера и движка. Воспроизведите рабочие длины входа и выхода. Измерьте три показателя для одного потока и при пиковой нагрузке.
- TTFT — время до первого токена, включая ожидание в очереди при замере со стороны клиента.
- TPOT — среднее время на выходной токен после первого. Удобно сопоставлять p50 и p95, чтобы видеть типичный ответ и задержки на пике.
- Пропускную способность — общее число выходных токенов в секунду при заданном потоке запросов. Укажите также количество ошибок и максимальный расход VRAM.
Такие условия позволяют сравнить две конфигурации для одного сценария. Результат короткого одиночного чата не переносится напрямую на API для команды. Документация vLLM по бенчмаркам.
Когда нужны две или больше GPU
Если веса и кэш помещаются на одном GPU и тест подтверждает нужную скорость, начните с одной карты. Когда памяти не хватает, движок может распределить модель между ускорителями. При tensor parallelism несколько GPU совместно вычисляют операции внутри слоя и обмениваются данными. При pipeline parallelism на разных GPU размещаются группы слоёв. Результат зависит от распределения весов и кэша, поддержки движка и скорости связи между картами.
Если модель помещается на каждом GPU и нужно обрабатывать больше независимых запросов, сравните распределение модели с отдельными репликами. Для сервера с несколькими ускорителями проверьте раскладку PCIe, связь GPU друг с другом и с CPU, питание и охлаждение. Документация vLLM по параллелизму, выбор платформы AMD EPYC или Intel Xeon.
Рабочая станция или GPU-сервер
Для разработки на одной карте может подойти рабочая станция с активным охлаждением. Проверьте длину и толщину конкретной карты, число свободных слотов, кабели и блок питания. У GeForce RTX 5090 32 ГБ, а конкретные габариты зависят от производителя платы. Характеристики GeForce RTX 5090.
Серверные NVIDIA L40S и RTX PRO 6000 Blackwell Server Edition используют пассивное охлаждение. Им нужен направленный поток воздуха в совместимом шасси. Перед заказом проверьте поддержку карт по спецификации сервера, выделенную мощность и температурный режим. У RTX PRO 6000 Blackwell Server Edition лимит мощности может достигать 600 Вт на карту. Характеристики NVIDIA L40S, характеристики RTX PRO 6000 Blackwell Server Edition.
Какие GPU подходят для инференса
| Конфигурация | Сценарий для проверки | Что проверить до закупки |
|---|---|---|
| 32 ГБ, GeForce RTX 5090 | Рабочая станция и локальная 32B-модель в 4 битах с несколькими короткими контекстами | Размер конкретного исполнения карты, блок питания, остаток VRAM после загрузки весов |
| 48 ГБ, NVIDIA L40S | Стоечный сервис с квантованной 32B-моделью и запасом для кэша | Совместимость с шасси для пассивной карты, пропускную способность при нужном числе запросов |
| 96 ГБ, NVIDIA RTX PRO 6000 Blackwell Server Edition | Плотная 32B-модель в BF16 или более крупная модель в квантованном формате | Потребность в кэше, поддерживаемые форматы и расчёт питания и охлаждения шасси |
| Несколько GPU в сервере | Веса или одновременно активные контексты превышают возможности одной карты | Память на каждом устройстве, топологию и результаты теста с выбранным параллелизмом |
Это варианты для нагрузочной проверки по рассчитанному объёму памяти. Для крупной MoE-модели начинайте с её опубликованных весов. Например, тензоры официального DeepSeek-V4-Flash занимают около 159,6 ГБ (148,6 ГиБ) до кэша и движка. Под такие веса нужен отдельный расчёт нескольких ускорителей. Индекс весов DeepSeek-V4-Flash.
У NVIDIA DGX Spark 128 ГБ общей памяти CPU и GPU. Это вариант для разработки и локальных экспериментов, когда нужен объём памяти в настольном формате. Для многопользовательского API сравните его с дискретными GPU по задержке и объёму нагрузки, который устройство поддерживает в вашем стеке. Обзор NVIDIA DGX Spark, характеристики NVIDIA DGX Spark.
Товары из статьи
Видеокарта NVIDIA L40S 48GB GDDR6 900-2G133-0080-000
Видеокарта NVIDIA RTX PRO 6000 Blackwell Server Edition 96GB GDDR7 900-2G153-0000-000
Частые вопросы
Хватит ли 24 ГБ для LLM на 32 млрд параметров?
Для некоторых 4-битных версий с коротким контекстом может хватить. Для Qwen2.5-32B-Instruct-AWQ с одним запросом на 8 192 токена расчёт даёт около 20 ГиБ до накладных расходов. Остаток зависит от свободной памяти в системе и настроек движка.
Можно ли складывать видеопамять двух карт?
Движок может распределить веса и кэш между картами. Проверьте пиковый расход на каждом GPU с учётом буферов, а также производительность обмена между ускорителями.
Можно ли использовать оперативную память при нехватке VRAM?
Некоторые движки позволяют выгружать туда веса или блоки KV-кэша. При передаче через PCIe задержка может вырасти. Сравните режим выгрузки и конфигурацию с достаточной VRAM на рабочем контексте. Документация vLLM по выгрузке KV-кэша.
Подбор GPU для вашего сценария
Для расчёта конфигурации подготовьте название модели и версию весов, длину типичного и длинного запроса, ожидаемое число запросов одновременно и допустимую задержку. Сравните готовые конфигурации или передайте параметры команде СерверБокс для подбора оборудования. Конфигурации для локальных LLM, каталог GPU-серверов.





