ainews
Создать
Войти
Разработчик визуализировал все 32 070 токенов GPT-2 в виде интерактивного гиперболического дерева внутри шара Пуанкаре. Использованы только сырые эмбеддинги без дополнительного обучения — структура возникает естественным образом, потому что словарь модели имеет древовидную форму, которая лучше помещается в гиперболическое пространство, чем в плоское.
Исследователи представили ASCIITermDraw-Bench — бенчмарк из 80 задач для оценки способности мультимодальных моделей создавать и редактировать диаграммы в формате ASCII. Лучшие результаты показали Gemini-4-31B-IT (73.8%) и Qwen3.7-Plus (70.2%). Оказалось, что модели могут описывать схемы словами, но точно расставить блоки, стрелки и связи — отдельная сложная задача.
Исследователь визуализировал статические эмбеддинги токена «Trump» в GPT-2 Small до применения внимания. При дискретизации координат модель группирует токен с общими политическими терминами (Mitt, Hillary, Pelosi), а в непрерывном пространстве — с конкретными именами: члены семьи, сотрудники, соперники и президенты (Obama, Clinton, Bush).
