[ТЕЛЕФОН]Заявка
Глоссарий · Модели и ПО

Что такое инференс

Все термины

Определение

Работа обученной модели: генерация ответов на запросы. Требует меньше ресурсов, чем обучение.

Для инференса важны объём видеопамяти — веса и KV-кэш должны поместиться целиком — и её пропускная способность: от неё зависит скорость ответа. Модели для многих пользователей обслуживают vLLM, SGLang и TensorRT-LLM, на одной-двух картах проще запустить llama.cpp или Ollama.