[ТЕЛЕФОН]Заявка
Глоссарий · Модели и ПО

Что такое дообучение

Все термины

Определение

Подстройка готовой модели на своих данных; варианты — полное дообучение или LoRA с малой частью параметров.

Полное дообучение требует в несколько раз больше памяти, чем инференс: кроме весов хранятся градиенты и состояния оптимизатора. LoRA и QLoRA обучают небольшие добавочные матрицы, поэтому модель среднего размера можно дообучить на одном GPU. По данным NVIDIA, на одном DGX Spark можно дообучать модели до 70 млрд параметров.

Связанные термины