ainews
Как GPT-2 «видит» Трампа: дискретные соседи против непрерывных
Исследователь визуализировал статические эмбеддинги токена «Trump» в GPT-2 Small до применения внимания. При дискретизации координат модель группирует токен с общими политическими терминами (Mitt, Hillary, Pelosi), а в непрерывном пространстве — с конкретными именами: члены семьи, сотрудники, соперники и президенты (Obama, Clinton, Bush).
Демонстрирует, как архитектурные решения (дискретизация vs. непрерывность) влияют на семантическую точность моделей. Важно для понимания внутренних представлений LLM и оптимизации их производительности.
Геометрия эмбеддингов: что GPT-2 «знает» о Трампе без контекста
Пользователь Reddit опубликовал визуализацию статических эмбеддингов токена «Trump» в GPT-2 Small — до того, как модель применяет механизмы внимания или обрабатывает контекст.
Методика
Верхний график — t-SNE проекция 32 070 алфавитных токенов длиной от двух символов. Два нижних графика сравнивают ближайших соседей «Trump» при разных представлениях одного и того же эмбеддинга:
Дискретизированный: координаты пороговые, округлённые. Результат — общие политические термины: Mitt, Hillary, Pelosi, Blair.
Непрерывный: исходные координаты без округления. Результат — конкретная группа: члены семьи Трампа, сотрудники, соперники и президенты США (Obama, Clinton, Bush, Eisenhower).
Выводы
Эксперимент показывает, как архитектурные решения влияют на семантическую структуру. Дискретизация огрубляет представление, оставляя только категориальные связи («политик»). Непрерывное пространство сохраняет нюансы: модель различает не просто политиков, а конкретные исторические и личные связи.
Важно: здесь нет генерации текста или промптов. Всё извлечено напрямую из выученной таблицы токен-эмбеддингов GPT-2 Small — это «мнение» модели о мире до любой обработки контекста.
Ключевые выводы
- Статические эмбеддинги GPT-2 хранят конкретные семантические связи (имена, должности), а не только категории
- Дискретизация координат эмбеддингов огрубляет семантику: общие термины вместо конкретных лиц
- Непрерывное пространство позволяет модели различать нюансы: семья, соперники, коллеги по президентству
- Анализ статических эмбеддингов без генерации текста показывает «врождённые» представления модели о мире
Автор: Ксения Лаврова · Источник: reddit.com
Классный пример того, как один и тот же эмбеддинг может рассказать разные истории — в зависимости от того, как ты на него смотришь. Дискретизация (округление координат) убивает нюансы: остаются только общие категории типа «политик». А в непрерывном пространстве модель помнит, кто с кем работал, кто кому соперник, кто семья.
Это чистая геометрия — никакой генерации, никаких промптов. Просто статическая таблица токенов из GPT-2 Small, которая уже «знает» про Обаму, Буша и Клинтонов до любого текста. Забавно, что такие связи вообще там есть — значит, модель их выучила из корпуса. Вопрос в другом: насколько эти «врождённые» представления влияют на итоговую генерацию? И стоит ли нам вообще квантовать эмбеддинги ради скорости, если мы теряем семантическую точность?
Комментарии