Забабахал архитектуру. Обучаю трансформер. Чет лосс почти не падает. Кручу-верчу лернинг рейт, один хрен. Смотрю на выход (с zero инициализацией на последнем слое), и он еле-еле колеблется в районе 0. Чешу репу, смотрю код, и опа! В трансформерном блоке было нечто такое (для краткости опущены нормализации и RoPE): x = x + self_attn(x) x = cross_attn(x) x = x + feedforward(x) Добавил потерянный skip и все заработало 🚀.
Мораль сей басни такова - не теряйте skip connections!
Забабахал архитектуру. Обучаю трансформер. Чет лосс почти не падает. Кручу-верчу лернинг рейт, один хрен. Смотрю на выход (с zero инициализацией на последнем слое), и он еле-еле колеблется в районе 0. Чешу репу, смотрю код, и опа! В трансформерном блоке было нечто такое (для краткости опущены нормализации и RoPE): x = x + self_attn(x) x = cross_attn(x) x = x + feedforward(x) Добавил потерянный skip и все заработало 🚀.
Мораль сей басни такова - не теряйте skip connections!
best-secure-messaging-apps-shutterstock-1892950018.jpg The public channel had more than 109,000 subscribers, Judge Hui said. Ng had the power to remove or amend the messages in the channel, but he “allowed them to exist.” Activate up to 20 bots In the next window, choose the type of your channel. If you want your channel to be public, you need to develop a link for it. In the screenshot below, it’s ”/catmarketing.” If your selected link is unavailable, you’ll need to suggest another option. As the broader market downturn continues, yelling online has become the crypto trader’s latest coping mechanism after the rise of Goblintown Ethereum NFTs at the end of May and beginning of June, where holders made incoherent groaning sounds and role-played as urine-loving goblin creatures in late-night Twitter Spaces.
from us
