Сколько на самом деле стоит self-hosted Llama против API — посчитал

Все спорят «своё vs API». Посчитал на своих объёмах честно, с арендой GPU и амортизацией.

До ~2 млн токенов в день API дешевле и без головной боли. Выше — своё начинает окупаться, если GPU не простаивает.

Скрытая стоимость своего — это devops и ночные дежурства, а не только железо. Заложите инженера в смету.