Как устроены LLM: взгляд через призму нелинейной динамики
Исследователи AI часто не могут объяснить, почему языковые модели внезапно обретают новые способности при определённом размере или объёме обучающих данных. Автор предлагает рассматривать LLM как нелинейные динамические системы — тогда «внезапные скачки» становятся фазовыми переходами (как замерзание воды), а архитектурные трюки оказываются инструментами удержания модели «на грани хаоса».