ainews
Создать
Войти
Автор популярного инструмента Heretic для разцензуривания LLM публично заявил: использование heretic-моделей как текстовых энкодеров в видеогенераторах (типа Minimax H3) не снимает цензуру, а может ухудшить качество. Heretic меняет внутренние представления моделей через направленную абляцию, но это не делает промпты более детальными для диффузионных моделей.
Исследователи доказали фундаментальную уязвимость всех LLM: модели не могут отличить источник инструкции по тегам (<user>, <system>), а ориентируются только на стиль текста. Это позволяет обходить любые защиты, подделывая «внутренние заметки» модели (chain-of-thought forgery). Проблема неустранима архитектурно — значит, безопасных LLM в принципе не существует.
DSpark — новый метод ускорения генерации текста большими языковыми моделями через спекулятивное декодирование. Система использует параллельную генерацию черновиков (как в DFlash), добавляет лёгкую последовательную голову для учёта зависимостей между токенами и применяет калиброванные оценки уверенности, чтобы верифицировать только те предложенные токены, которые действительно стоят вычислительных затрат целевой модели.
Автор разбирает распространённое заблуждение, что attention можно «прикрутить» к любой модели для улучшения. На примере от логистической регрессии до трансформеров показано, что внимание работает только там, где есть части входа, взаимодействующие друг с другом. Отдельно объясняется, почему оригинальное позиционное кодирование в трансформерах было заменено на RoPE.
Автогрессивная генерация текста в LLM медленна, потому что каждый токен требует отдельного прохода через модель. Спекулятивная декодировка решает эту проблему: быстрый механизм предлагает несколько токенов-кандидатов, которые основная модель проверяет параллельно за один проход. Статья разбирает три современных подхода к спекулятивной генерации.
