tgoop.com/nn_for_science/2464
Last Update:
Почему случается гроккинг?
Представьте: вы тренируете крошечный трансформер отличить кошку от ягуара.
После 100 000 шагов ‒ на трейне всё идеально, на тесте — худо-бедно 55 %.
Уже готовы махнуть рукой… и вдруг на 101 000-м шаге точность подпрыгивает до 99 %.
Это «внезапное прозрение» и называется grokking.
Grokking — момент, когда модель перестаёт тупо запоминать примеры и внезапно все понимает, из-за чего точность на тесте взлетает. Феномен был известен с 2021 года, но до сих пор было не до конца понятно почему так происходит.
Свежее исследование убедительно показывает, что гроккинг случается после того, как сеть забила всю свою память - «внутреннюю флешку» сырыми данными и вынуждена перейти к их сжатию.
Как оно работает
1. Копирование.
Пока энтропия данных меньше ≈ 3,5–4 бита на параметр, дешевле «запекать» каждый пример прямо в веса. Train-loss → 0, test-loss почти не падает.
2. Флешка переполнена.
Новые байты не влазят. Градиенту выгоднее искать закономерности, которые приведут к снижению ошибки сразу на нескольких примерах.
3. Озарение (grokking).
Сеть «сжимает» знания, выбрасывая случайные детали. Test-loss резко падает.
Сколько это «3,5–4 бита»?
Миллион параметров = ~0,5 МБ на диске.
Это меньше одной фотки с телефона — место заканчивается удивительно быстро, вот почему grokking ловят даже на игрушечных датасетах.
Что делать практику
• Учите дольше, чем кажется нужным. Магический скачок может прийти после тысяч лишних шагов.
• Добавьте данных. Если сеть забуксовала, удвойте датасет: ей надо «упереться в потолок памяти», прежде чем она начнёт обобщать.
Одна метафора, чтобы запомнить
Нейронка — ноут с крошечным SSD и автоматическим ZIP: пока место есть, хранит RAW-фото, а как забьётся — начинает архивировать зипом.
А вы уже сталкивались с grokking в своих проектах?
Расскажите в комментариях — интересно, после скольких шагов «прозрело» у вас 😉
