Определение
Работа обученной модели: генерация ответов на запросы. Требует меньше ресурсов, чем обучение.
Для инференса важны объём видеопамяти — веса и KV-кэш должны поместиться целиком — и её пропускная способность: от неё зависит скорость ответа. Модели для многих пользователей обслуживают vLLM, SGLang и TensorRT-LLM, на одной-двух картах проще запустить llama.cpp или Ollama.
Связанные термины