Войти

#BPE

И инструменты ·26 июл 2026

Оптимизация BPE-токенизатора: Часть 1

Автор показывает, как оптимизировать Byte Pair Encoding токенизатор — критически важный компонент языковых моделей, влияющий на скорость генерации первого токена. Статья начинается с наивной реализации BPE, выявляет её узкие места (квадратичная сложность, сдвиги массива, промахи кэша) и предлагает первые оптимизации через использование связного списка в единой аллокации памяти (арена).

0 44
И инструменты ·23 июл 2026

Gigatoken: токенизатор на Rust обрабатывает текст в 989 раз быстрее HuggingFace

Студент PhD из Стэнфорда выпустил Gigatoken — BPE-токенизатор на Rust, обрабатывающий 24,53 ГБ/с на 144-ядерном сервере (в 681–989 раз быстрее OpenAI tiktoken и HuggingFace tokenizers). Ускорение достигнуто ручной оптимизацией претокенизации с SIMD, кешированием повторяющихся слов и минимизацией взаимодействия с Python. Библиотека под MIT-лицензией, поддерживает 23 семейства токенизаторов (GPT, Llama, Qwen, DeepSeek и др.), доступна через pip install gigatoken.

0 47