ainews
Создать
Войти
Автор создал AdapTQ — открытую C++ библиотеку, которая сжимает KV-кеш больших языковых моделей в 8 раз при работе на обычных CPU (MacBook, Raspberry Pi). Это решает проблему нехватки оперативной памяти при длинных контекстах и ускоряет генерацию токенов благодаря снижению потребности в пропускной способности памяти.
Студент PhD из Стэнфорда выпустил Gigatoken — BPE-токенизатор на Rust, обрабатывающий 24,53 ГБ/с на 144-ядерном сервере (в 681–989 раз быстрее OpenAI tiktoken и HuggingFace tokenizers). Ускорение достигнуто ручной оптимизацией претокенизации с SIMD, кешированием повторяющихся слов и минимизацией взаимодействия с Python. Библиотека под MIT-лицензией, поддерживает 23 семейства токенизаторов (GPT, Llama, Qwen, DeepSeek и др.), доступна через pip install gigatoken.
