Notice: file_put_contents(): Write of 19091 bytes failed with errno=28 No space left on device in /var/www/tgoop/post.php on line 50 Machinelearning@ai_machinelearning_big_data P.8051
🔥 Сейчас проходит ICML 2025 — одна из главных конференций по машинному обучению.
Команда AI VK всю неделю делится обзорами самых интересных работ.
📌 Сегодня в центре внимания — трансформерная архитектура нового поколения: быстрая, простая и без softmax. Авторы статьи *“MatMuls are Enough”* предлагают кардинально упрощённую модель, в которой механизм внимания сводится к чистым матричным перемножениям без нелинейностей, dropout и маскировок.
🔧 В архитектуре: ▪️ Удалён softmax — вообще ничего не добавлено взамен ▪️ Вместо нескольких голов внимания — одна большая ▪️ Упрощены нормализации и убраны residual-соединения ▪️ Всё написано на чистом PyTorch, без CUDA-оптимизаций
📈 Результат — линейная сложность по длине текста, отличная переносимость между устройствами и SOTA на GLUE и Long Range Arena.
Честно говоря, очень достойный претендент на главную инженерную идею ICML.
🔥 Сейчас проходит ICML 2025 — одна из главных конференций по машинному обучению.
Команда AI VK всю неделю делится обзорами самых интересных работ.
📌 Сегодня в центре внимания — трансформерная архитектура нового поколения: быстрая, простая и без softmax. Авторы статьи *“MatMuls are Enough”* предлагают кардинально упрощённую модель, в которой механизм внимания сводится к чистым матричным перемножениям без нелинейностей, dropout и маскировок.
🔧 В архитектуре: ▪️ Удалён softmax — вообще ничего не добавлено взамен ▪️ Вместо нескольких голов внимания — одна большая ▪️ Упрощены нормализации и убраны residual-соединения ▪️ Всё написано на чистом PyTorch, без CUDA-оптимизаций
📈 Результат — линейная сложность по длине текста, отличная переносимость между устройствами и SOTA на GLUE и Long Range Arena.
Честно говоря, очень достойный претендент на главную инженерную идею ICML.
How to create a business channel on Telegram? (Tutorial) The court said the defendant had also incited people to commit public nuisance, with messages calling on them to take part in rallies and demonstrations including at Hong Kong International Airport, to block roads and to paralyse the public transportation system. Various forms of protest promoted on the messaging platform included general strikes, lunchtime protests and silent sit-ins. With the “Bear Market Screaming Therapy Group,” we’ve now transcended language. Private channels are only accessible to subscribers and don’t appear in public searches. To join a private channel, you need to receive a link from the owner (administrator). A private channel is an excellent solution for companies and teams. You can also use this type of channel to write down personal notes, reflections, etc. By the way, you can make your private channel public at any moment. The initiatives announced by Perekopsky include monitoring the content in groups. According to the executive, posts identified as lacking context or as containing false information will be flagged as a potential source of disinformation. The content is then forwarded to Telegram's fact-checking channels for analysis and subsequent publication of verified information.
from us
