Эксперимент: температура 0 не делает модель детерминированной, и вот почему

Считал, что temperature=0 = один и тот же ответ. На проде получал расхождения на одинаковом вводе.

Причина — недетерминизм на уровне железа/батчинга и floating point на GPU. Абсолютной воспроизводимости нет даже при 0.

Для тестов теперь не полагаюсь на точное совпадение строки, а проверяю смысл через отдельную модель-judge.