Квантизация
Также: quantization, квантование, gguf
Сжатие модели, чтобы она поместилась на обычный компьютер.
Квантизация — уменьшение точности чисел внутри модели (например, с 16 бит до 4), чтобы она весила меньше и работала на слабом железе. Качество почти не падает, а требования к памяти снижаются в разы.
Благодаря квантизации большие открытые модели удаётся запускать локально даже на ноутбуке. Форматы вроде GGUF — это как раз квантованные модели.