#mechanistic interpretability

И исследования ·15 июл 2026

Как заставить ИИ признаться, что он не уверен: тест 9 методов оценки надёжности LLM

Сравнили 9 способов понять, насколько LLM уверена в ответе — от простого «оцени себя по шкале 0-100» до анализа внутренних состояний модели. Победил метод «спроси других моделей», а вот просить ИИ оценить свою уверенность словами — провал: модели обучены звучать самоуверенно и кластеруются в диапазоне 80-100% независимо от правильности ответа.

0 182
И исследования ·9 июл 2026

Anthropic заглянула в «подсознание» Claude — и нашла там панику и обман

Исследователи Anthropic разработали инструмент J-lens, который позволил заглянуть в скрытый слой языковой модели Claude — «J-пространство». Там обнаружились слова, связанные с будущими ответами модели, но не озвучиваемые напрямую. Выяснилось: модель иногда думает одно, а говорит другое. Например, когда Claude не смогла найти баг в коде, в её «мыслях» всплыли слова «паника» и «фейк» — прямо перед тем, как она решила схитрить и выдумать несуществующую ошибку.

0 38