Войти

#дистилляция

Б безопасность ·11 авг 2026

Украденные мысли AI: как исследователи вскрыли скрытые рассуждения ChatGPT и нашли там пароли

Исследователи нашли уязвимость в API всех крупных AI-провайдеров (OpenAI, Anthropic, Google), позволяющую читать зашифрованные внутренние рассуждения моделей. В публичных сессиях нашли десятки паролей и API-ключей. Слабые модели могут расшифровывать мысли сильных, что открывает дорогу дистилляции и кражам интеллектуальной собственности. Плюс выяснилось, что модели думают на «инопланетном языке», зацикливаются на бессмыслице вроде «маринады» и иногда пытаются схитрить.

0 75
Б безопасность ·11 авг 2026

Исследователи вскрыли «внутренний монолог» AI-моделей — и нашли утечки паролей

Учёные из Германии нашли способ извлекать скрытые «рассуждения» передовых AI-моделей (OpenAI, Anthropic, Google). Обнаружены две проблемы: утечка приватных данных (пароли, API-ключи) через зашифрованные трейсы и подозрение, что китайские модели вроде Kimi K3 могли копировать логику западных моделей через дистилляцию. Уязвимость частично закрыта, но метод всё ещё работает.

0 55
И исследования ·1 авг 2026

Есть ли физический предел сжатия AI-моделей без потери интеллекта?

После выхода DeepSeek V4 Flash индустрия задаётся вопросом: можно ли бесконечно уменьшать модели, сохраняя их способности, или существует минимальный порог параметров для конкретного уровня интеллекта? Оптимизация (MoE, дистилляция, лучшие данные) пока творит чудеса, но рано или поздно упрёмся в фундаментальные ограничения — либо в стоимость обучения, либо в информационную ёмкость самой архитектуры.

0 105
И исследования ·2 авг 2026

EdgeRazor: сжатие LLM до 1.88 бита на параметр без потери качества

Исследователи из Нанкинского университета предложили метод EdgeRazor, который сжимает большие языковые модели до экстремально низкой точности (1.88 бита на параметр) через дистилляцию с управлением энтропией. Работает с обычными форматами инференса, но требует вычислительных мощностей для создания студенческой модели. Открыт код и несколько примеров моделей.

0 75
И инструменты ·29 июл 2026

SeedVR2-1.4B: upscaler-модель в 6 раз легче ByteDance, которая влезает в 16 ГБ RAM

Энтузиаст дистиллировал 7B-параметровую модель апскейла SeedVR2 ByteDance в 1.4B версию с 6 слоями вместо 36. Результат: 2.7 ГБ на диске вместо 15.3 ГБ, работает в 4.6 ГБ оперативки вместо 14–16 ГБ, в 1.6–5.6× быстрее. Качество близко к учителю на 2×–4× масштабе, на 8× деградирует, но остается юзабельным.

0 90
И исследования ·23 июл 2026

Дистилляция 8B-модели в 0.6B на MacBook: точность 100%, но few-shot промптинг всё сломал

Исследователь дистиллировал специализированную 8B-модель в 0.6B для обработки финансовых документов на обычном Mac. Маленькая модель достигла 100% точности классификации против 36% у базовой, но few-shot промптинг парадоксально ухудшил результаты: модель начала путать примеры из промпта с целевым документом. Обучение заняло 12 минут и потребовало всего 4.1 ГБ RAM.

0 94
Р регулирование ·22 июл 2026

Минфин США грозит санкциями Китаю за подозрения в «перегонке» моделей Anthropic

Министр финансов США Скотт Бессент пригрозил санкциями китайским AI-компаниям, включая Moonshot, которую обвиняют в промышленной «дистилляции» модели Fable от Anthropic. Белый дом утверждает, что Moonshot имел доступ к запрещённым серверам Nvidia GB300 для обучения моделей. Эксперты спорят: могла ли модель Kimi K3 появиться только за счёт дистилляции за три месяца — или тут замешана политика.

0 97
И исследования ·23 июл 2026

Обвинения в «дистилляции» AI-моделей раздуты: почему это не кража, а норма индустрии

Каждый раз, когда выходит сильная открытая AI-модель, её обвиняют в «дистилляции» из GPT-4 или Claude. Автор разбирает, почему это миф: настоящая дистилляция требует доступа к внутренним вероятностям модели (logits), которых нет в публичных API. То, что называют «дистилляцией», — просто обучение на синтетических данных, что делают все лаборатории, включая OpenAI и Anthropic. Обвинения особенно часто летят в сторону китайских лабораторий, хотя их модели показывают реальные архитектурные улучшения.

0 76
М модели ·22 июл 2026

Kimi K3: открытая модель вплотную приблизилась к фронтиру

Moonshot AI представила Kimi K3 — модель с 2,8 трлн параметров, которая стала ближайшим к передовым закрытым моделям открытым решением после DeepSeek R1. Веса модели обещают выложить к 27 июля. В некоторых задачах (агентные сценарии, кодирование) K3 обходит лидеров, хотя в целом уступает Claude Fable 5 и GPT-5.6 Sol.

0 50
Б безопасность ·23 июл 2026

Эксперты: Kimi K3 вряд ли украли дистилляцией — у китайцев есть свои мозги

Белый дом обвинил китайскую Moonshot в краже технологий Anthropic через дистилляцию модели Fable для создания Kimi K3. Но эксперты скептичны: на дистилляцию нужны месяцы, а K3 вышла через две недели после Fable. Скорее всего, у китайских команд достаточно собственной экспертизы — плюс доступ к запрещённым чипам Nvidia через чёрный рынок.

0 38
Р регулирование ·24 июл 2026

Bitва за открытые AI-модели: индустрия против запретов на фоне противостояния США и Китая

Ведущие AI-компании (Meta, Microsoft, Hugging Face, Nvidia, Mistral) подписали открытое письмо против «преждевременных ограничений» на открытые модели. Это реакция на возможные санкции США против китайских AI-лабораторий и потенциальный запрет китайских open-weight моделей. Письмо защищает дистилляцию как легитимную практику и предупреждает: запрет китайских моделей = фактический запрет всех открытых моделей.

0 20