Локальный копайлот на 7B для оффлайн-разработки в поезде

Часто кодю в дороге без интернета. Поставил небольшую модель на ноут через llama.cpp как локальный автокомплит.

7B на квантовании Q4 влезает в 8 ГБ и подсказывает вполне сносно для бойлерплейта. Не Claude, но лучше пустоты.

Батарея, конечно, тает быстрее. Зато в самолёте и метро я больше не простаиваю.