ainews
Создать
Войти
Разработчик сообщает о систематической проблеме Gemma 4 31B при редактировании кода: модель постоянно ошибается в отступах и форматировании, из-за чего AI-инструменты отклоняют её правки. Проблема воспроизводится в разных системах (Goose, Copilot, Codex, Little Coder), несмотря на хорошие бенчмарки модели.
Автор объясняет, почему нейронные сети без нелинейных активационных функций бесполезны: любое количество линейных слоёв схлопывается в одну матричную операцию и может проводить только прямые линии в пространстве признаков. Нелинейность (даже простая ReLU) ломает это ограничение и позволяет сети строить сложные границы решений.
BGE-M3 от команды BAAI — это embedding-модель, которая впервые поддерживает три парадигмы поиска (dense, sparse и multi-vector retrieval) в одной модели. Раньше для гибридного поиска в RAG-системах приходилось разворачивать несколько моделей, что усложняло инфраструктуру. BGE-M3 упрощает архитектуру, сохраняя качество и гибкость.
Команда Cactus модифицировала Gemma 4, добавив слой из 68k параметров, который предсказывает уверенность модели в своём ответе (0-1). Это позволяет автоматически маршрутизировать только 15-35% запросов на большую облачную модель, достигая при этом качества Gemini 3.1 Flash-Lite. Ключевая фишка: зонд читает «самосознание» модели из скрытых состояний, а не из текста ответа или энтропии токенов.
Исследователи пытаются найти направление в эмбеддингах LLM, которое соответствует «правде». Но математическая логика доказывает: такой универсальный детектор истины невозможен — это парадокс самореференции, как у Гёделя и Тарского. Эксперимент на Qwen3.5-4B показал: на обычных фразах проба работает на 94%, на самореферентных («эта фраза ложна») — вываливается в nonsense.
В длинных диалогах AI начинает забывать инструкции, противоречить себе и терять фокус. Причина не в «усталости» модели, а в архитектурных ограничениях: контекстное окно переполняется, а трансформеры хуже всего работают с информацией из середины контекста (эффект «lost in the middle»). Разные продукты по-разному решают проблему — обрезают историю, сжимают или извлекают релевантные части.
Автор разбирает популярные доводы против open-source AI (особенно китайских моделей) и показывает, что попытки их запретить — это повторение ошибок с шифрованием в 90-х: не работает, вредит своим компаниям, а не конкурентам. Open-source AI — это не угроза, а двигатель экономики, как и любое другое открытое ПО.
Летом 2025 года США ввели экспортный контроль на продвинутые AI-модели Claude Fable 5 и Mythos 5 на 19 дней, полностью лишив тысячи команд доступа к критической зависимости в production. Китай рассматривает симметричные меры. Индустрия пережила инцидент и вернулась к прежней практике, не изменив архитектуру систем.
AWS показал, как заставить Claude Code работать строго внутри одного региона (например, Лондона) для соблюдения требований data residency. Есть два пути: через новый Mantle endpoint (простой, но работает в 7 регионах) или через классический Amazon Bedrock с application inference profile (сложнее, но работает в eu-west-2). Оба варианта требуют IAM-политик с привязкой к региону и проверки через CloudTrail.
Статья разбирает техническую архитектуру RAG-систем на уровне эмбеддингов и векторных баз данных. Автор объясняет, как превратить демо-прототип в production-ready решение, которое работает быстро и не съедает весь бюджет на инфраструктуру.
