Глоссарий терминов ЦОД и ИИ
Термины оборудования для ЦОД и ИИ простыми словами: видеопамять, форматы чисел, шины, память и сети.
B
- BMC / IPMI
- Контроллер удалённого управления сервером и протокол для него: включение, перезагрузка, консоль и датчики без доступа к ОС.
E
F
G
- GDDR6X
- Видеопамять старших GeForce RTX 30 и 40 серии (3080/3090, 4080/4090): у RTX 4090 — около 1 ТБ/с. В RTX 50 её сменила GDDR7 — та же, что в RTX PRO Blackwell.
H
I
- InfiniBand
- Сеть для кластеров с низкой задержкой и высокой пропускной способностью; связывает GPU-серверы при обучении моделей.
K
- KV-кэш
- Память для уже обработанного контекста при генерации; растёт с длиной контекста и числом одновременных запросов.
L
- LRDIMM
- Серверная память с буфером данных: позволяет ставить больше памяти на канал, чем RDIMM.
M
N
- NVLink
- Высокоскоростная связь между GPU NVIDIA, в разы быстрее PCIe. Ускоряет работу модели, разделённой между картами; есть в серверах HGX и стойках NVL72.
P
- PCIe
- Шина подключения видеокарт, сетевых карт и NVMe. Поколение (4.0, 5.0) и число линий (x8, x16) задают скорость.
R
- RAG
- Генерация с поиском: модель отвечает, опираясь на найденные документы компании, а не только на свои знания.
- RAID
- Объединение дисков в массив для отказоустойчивости или скорости; бывает аппаратным и программным.
- RDIMM
- Регистровая серверная память: регистр снижает нагрузку на контроллер, поэтому можно ставить много модулей.
- RoCE
- Передача данных между серверами по Ethernet в обход процессора (RDMA) — альтернатива InfiniBand.
S
- SXM
- Формат серверных GPU NVIDIA, которые ставятся на плату, а не в слот PCIe: выше мощность и связь NVLink между картами.
T
- TDP
- Расчётное тепловыделение компонента в ваттах; по нему подбирают блок питания и охлаждение.
U
- U.2 / U.3
- Форматы разъёмов 2,5-дюймовых NVMe-накопителей; U.3 совместим с SAS и SATA в одной корзине.
V
- VRAM
- Память видеокарты. Определяет, какая модель поместится на GPU: веса, контекст и промежуточные данные.
Д
- Дообучение
- Подстройка готовой модели на своих данных; варианты — полное дообучение или LoRA с малой частью параметров.
И
- Инференс
- Работа обученной модели: генерация ответов на запросы. Требует меньше ресурсов, чем обучение.
К
- Квантование
- Сжатие весов модели до меньшего числа бит (8 или 4): модель занимает меньше памяти и работает быстрее, теряя немного точности.
Т
- Тензорный параллелизм
- Способ разделить каждый слой модели между несколькими GPU, чтобы запустить модель больше памяти одной карты. Нужна быстрая связь между GPU.