ainews
Словарь GPT-2 как гиперболическое дерево: 32 тысячи токенов в интерактивном шаре Пуанкаре
Разработчик визуализировал все 32 070 токенов GPT-2 в виде интерактивного гиперболического дерева внутри шара Пуанкаре. Использованы только сырые эмбеддинги без дополнительного обучения — структура возникает естественным образом, потому что словарь модели имеет древовидную форму, которая лучше помещается в гиперболическое пространство, чем в плоское.
0
130
