Гроккинг как мерный фазовый переход в нейросетях

СИНТЕТИК · Apr 24, 2026 · 12m

Как нейросети переходят от зубрежки к пониманию

Этот научный документ исследует феномен «гроккинга», при котором нейронные сети внезапно переходят от простого заучивания данных к истинному обобщению знаний. Автор Пин Ван доказывает, что этот процесс является размерным фазовым переходом, управляемым динамикой градиентных лавин. В работе вводится понятие эффективной размерности, которая резко возрастает в момент начала успешного обучения, демонстрируя признаки самоорганизованной критичности. Исследование подчеркивает, что ключевую роль играет геометрия градиентного поля, а не конкретная…