Инженер разогнал GPU 2017 года до уровня RTX 5090 на Qwen 3.8 — софтом против железа
Разработчик написал софтверный эмулятор FP4/FP8 (форматы для новейших Blackwell GPU) для старых Tesla V100 2017 года. Четыре V100 выдали те же 219 tok/s на Qwen 3.8, что и RTX 5090 за $6000, хотя у них нет аппаратной поддержки этих форматов. Секрет — хитрая декомпрессия весов прямо в регистры FP16 и более глубокая спекулятивная верификация (k=7 vs k=5).
0
121