#калибровка моделей

И исследования ·10 авг 2026

Synthetic Query Probing: как сравнивать эмбеддинг-модели и ставить пороги схожести

Исследователи предложили метод Synthetic Query Probing для сравнения разных эмбеддинг-моделей (например, OpenAI ADA vs AWS Titan). Вместо сравнения эмбеддингов напрямую (невозможно) они сравнивают пространства схожести — similarity scores для пар контента. Выяснилось: Titan разных размерностей линейно связаны, а Titan vs ADA — нелинейно, с разными диапазонами. Это помогает подбирать пороги для RAG и понимать, как модели ведут себя относительно друг друга.

0 58

И исследования ·22 июл 2026

Модель с точностью 35% обыграла рынок на 12%: когда калибровка важнее accuracy

Исследователь обучил модель предсказывать доходность акций S&P 500 на основе качественных факторов из 10-K отчётов. Точность — всего 35%, но топ-20 компаний по рангу модели принесли 20,6% годовых против 7,9% рынка. Главный урок: для инвестиционных решений важна калибровка и ранжирование, а не классическая accuracy. Второй сюрприз: добавление признаков ухудшило результат — слабые сигналы просто добавили шум.

0 77