Войти

#NLP

И исследования ·7 авг 2026

Apple масштабирует Categorical Flow Maps до 1.7B параметров: альтернатива авторегрессии для языковых моделей

Apple Research обучила языковую модель на 1.7B параметров с технологией Categorical Flow Maps (CFM), которая генерирует текст за 4 шага вместо сотен токенов последовательно. Это попытка заменить авторегрессивные модели (GPT-стиль) непрерывными потоковыми, как в Stable Diffusion — быстрее сэмплирование, гибче управление. Раньше CFM проверяли только на моделях до 1B параметров, теперь Apple показала, что работает и на промышленных масштабах.

0 78
И исследования ·6 авг 2026

Можно ли заменить LLM-запросы готовыми ML-пайплайнами? Новый подход к оптимизации AI-систем

Исследователи предлагают заменять повторяющиеся LLM-запросы автоматически созданными пайплайнами из regex, парсеров и классических ML-моделей. Идея: анализировать паттерны работы LLM, синтезировать детерминированные DAG-графы из 41 типа NLP-операций, а сложные кейсы отправлять в LLM как фоллбэк. Цель — снизить затраты и латентность на массовых задачах вроде извлечения структурированных данных из документов.

0 76
М модели ·24 июл 2026

Словарь, токены и эмбеддинги: фундамент для понимания трансформеров

Статья объясняет три базовых понятия, без которых невозможно разобраться в работе больших языковых моделей: словарь (vocabulary) как полный набор известных модели текстовых единиц, токены как минимальные обрабатываемые фрагменты текста и эмбеддинги как векторные представления, которые несут семантическую информацию.

0 76