#emergent abilities

И исследования ·16 авг 2026

Что будет, если обучить языковую модель только на материалах начальной школы

Исследователи создали LittleLearner — семейство моделей (0.6B-5B параметров), обученных исключительно на материалах до 5 класса. Эксперимент показал: ни масштабирование, ни дообучение, ни промпт-инжиниринг не помогли моделям выйти за рамки знаний из предобучения. Граница способностей жёстко задаётся тренировочными данными.

0 113

И исследования ·31 июл 2026

Как устроены LLM: взгляд через призму нелинейной динамики

Исследователи AI часто не могут объяснить, почему языковые модели внезапно обретают новые способности при определённом размере или объёме обучающих данных. Автор предлагает рассматривать LLM как нелинейные динамические системы — тогда «внезапные скачки» становятся фазовыми переходами (как замерзание воды), а архитектурные трюки оказываются инструментами удержания модели «на грани хаоса».

0 95