Войти

#малые модели

И исследования ·23 июл 2026

Дистилляция 8B-модели в 0.6B на MacBook: точность 100%, но few-shot промптинг всё сломал

Исследователь дистиллировал специализированную 8B-модель в 0.6B для обработки финансовых документов на обычном Mac. Маленькая модель достигла 100% точности классификации против 36% у базовой, но few-shot промптинг парадоксально ухудшил результаты: модель начала путать примеры из промпта с целевым документом. Обучение заняло 12 минут и потребовало всего 4.1 ГБ RAM.

0 92
И исследования ·21 июл 2026

Попытка воспроизвести исследование OpenAI по устойчивым AI-чертам провалилась на одной видеокарте

Исследователь пытается повторить эксперимент OpenAI по внедрению устойчивых поведенческих черт в языковую модель через обучение с подкреплением (GRPO), используя одну RTX 3090 — примерно 0,00001% вычислительной мощности оригинального исследования. Несмотря на технически корректную настройку, черта личности сдвинулась всего на 2,4 балла вместо необходимых 15. Автор оригинальной работы подтвердил: 20 примеров обучения слишком мало, и нужны индивидуальные критерии оценки для каждого примера.

0 117