Инференс
Также: inference, инференс, вывод модели
Работа уже обученной модели — момент, когда она отвечает на ваш запрос.
Инференс (inference) — использование готовой модели для получения ответа, в отличие от обучения. Когда вы отправляете запрос и модель генерирует текст — это инференс.
Скорость инференса измеряют в токенах в секунду, а его стоимость — основная статья расходов при работе через API. Для локального запуска скорость инференса зависит от вашего железа.