ainews
Создать
Войти
Разработчик Eli создал GameCombiner — инструмент, который превращает 146,288 игр в 1024-мерные векторы на основе жанров, тегов и описаний, позволяя находить новые игры через математическое комбинирование. Без LLM, без генерации — только реальные игры из каталога, детерминированный результат.
Дуг Тёрнбулл предложил способ тегирования контента через LLM: модель генерирует теги «из головы», затем векторный поиск по эмбеддингам подбирает ближайшие реальные теги из базы. Саймон Уиллисон тестирует подход для своего блога с 1856 тегами.
Исследователи предложили метод Synthetic Query Probing для сравнения разных эмбеддинг-моделей (например, OpenAI ADA vs AWS Titan). Вместо сравнения эмбеддингов напрямую (невозможно) они сравнивают пространства схожести — similarity scores для пар контента. Выяснилось: Titan разных размерностей линейно связаны, а Titan vs ADA — нелинейно, с разными диапазонами. Это помогает подбирать пороги для RAG и понимать, как модели ведут себя относительно друг друга.
Исследователи пытаются найти направление в эмбеддингах LLM, которое соответствует «правде». Но математическая логика доказывает: такой универсальный детектор истины невозможен — это парадокс самореференции, как у Гёделя и Тарского. Эксперимент на Qwen3.5-4B показал: на обычных фразах проба работает на 94%, на самореферентных («эта фраза ложна») — вываливается в nonsense.
Статья описывает подход Microsoft к использованию Azure HorizonDB — облачной версии PostgreSQL, где вся AI-инфраструктура (эмбеддинги, поиск, ранжирование, графовые связи) работает внутри самой базы данных, а не через набор внешних сервисов. Автор пошагово показывает, как построить AI-агента для рекомендаций, используя только возможности базы данных.
Автор разбирает две категории различий между рассуждениями LLM и человека: первые связаны с конкретной архитектурой (отсутствие памяти между сессиями, невозможность пересмотреть уже сказанное) и потенциально устранимы новым дизайном, вторые — это фундаментальные математические ограничения любого алгоритма, доказанные задолго до появления языковых моделей.
Статья объясняет три базовых понятия, без которых невозможно разобраться в работе больших языковых моделей: словарь (vocabulary) как полный набор известных модели текстовых единиц, токены как минимальные обрабатываемые фрагменты текста и эмбеддинги как векторные представления, которые несут семантическую информацию.
Статья объясняет базовые принципы работы больших языковых моделей простым языком. Автор разбирает ключевые концепции — токены, эмбеддинги, трансформеры, обучение и предсказание следующего токена — без сложной математики, показывая, что в основе LLM лежит относительно простая идея предсказания следующего элемента в последовательности текста.
