КПД

По итогу конференции ICLR 2025, проходящей сейчас в Сингапуре, планирую сделать подборку заинтересовавших постеров по теме EfficientDL и смежным вопросам, а также разобрать некоторые из них вид в виде лонгридов, а пока хотел бы поделиться общими впечатлениями от конференции:

1️⃣ Поездки на такие мероприятия очень полезны с научной точки зрения, так как даже пристально следя за областью, какие-то работы упускаешь из внимания, и наталкиваешься на интересные и релевантые своему ресерчу на самой конференции.

2️⃣ После данных мероприятий сильно возрастает мотивация заниматься наукой. Под впечатлением результатов от других работ, обсуждений с авторами возникает желание опробовать приглянувшуюся идейку у себя в коде или эксперименте.

3️⃣ Классная русская 🇷🇺 тусовка. На ICLR постоянно встречаешь русскоязычных ребят - как из Яндекса, AIRI, Т-банка, так и обосновавшихся в зарубежных лабах, компаниях и институтах - Google, Meta, ETH, NYU, и т.п и т.д.

4️⃣ Китайцы 🇨🇳 частенько говорят по английски плохо. Ну прям из ряда вон плохо. Как читаешь статейки прямо все по маслу, такие вычурные обороты, достойные Джейн Остин, Толкина и Байрона, а как доходит дело до устной речи, не понимают даже вроде бы довольно простые вопросы... Один даже честно признался, что не могет в инглиш и включил Google Translate с английского на китайский на планшете... Тем не менее, с некоторыми возникали прямо содержательные и интересные обсуждения. Например, с авторами SANA и SVD-Quant. Китайцы наиболее широко представлены среди всех национальностей, что , впрочем, неудивительно.

5️⃣ Имеет место явление, что на конференцию подаются несколько статей +/- про одно и тоже. На текущем ICLR я видел 3-4 статьи про комбинирование вращения + smoothquant для лучшей квантизации весов и активаций, и так же 3/4 статьи про sliding window + prefix attention с небольшими концептуальными отличиями.

6️⃣ В Сингапуре жарко снаружи и холодно внутри в помещениях. Прямо как в баньке с контрастным душем. Мерзнешь от кондиционеров и бежишь наружу париться, и когда напаришься вдоволь - идешь охлаждаться.

7️⃣ Все дорого. Прямо от слова совсем. И кофий не чета тому, что в Москве. За 8-9 баксов наливают бурду, которую в условном cofix / one price coffee постесняются налить за вчетверо меньшую сумму.

8️⃣ Город богатый и впечатляет. Возможно, меня покусал Варламов, но небоскребы тут смотрятся как-то гармонично и естественно в отличие от Москва-сити.

9️⃣ С алкашкой грустненько. И зожников много, везде видишь бегунов и велосипедистов.

1️⃣0️⃣ Дуриан выглядит классно. Прям хочется взять к себе домой эту здоровенную шишку, но запрещено законом.

www.tgoop.com/quant_prune_distill/472

2.4K viewsedited  Apr 25 at 16:09

По итогу конференции ICLR 2025, проходящей сейчас в Сингапуре, планирую сделать подборку заинтересовавших постеров по теме EfficientDL и смежным вопросам, а также разобрать некоторые из них вид в виде лонгридов, а пока хотел бы поделиться общими впечатлениями от конференции:

1️⃣ Поездки на такие мероприятия очень полезны с научной точки зрения, так как даже пристально следя за областью, какие-то работы упускаешь из внимания, и наталкиваешься на интересные и релевантые своему ресерчу на самой конференции.

2️⃣ После данных мероприятий сильно возрастает мотивация заниматься наукой. Под впечатлением результатов от других работ, обсуждений с авторами возникает желание опробовать приглянувшуюся идейку у себя в коде или эксперименте.

3️⃣ Классная русская 🇷🇺 тусовка. На ICLR постоянно встречаешь русскоязычных ребят - как из Яндекса, AIRI, Т-банка, так и обосновавшихся в зарубежных лабах, компаниях и институтах - Google, Meta, ETH, NYU, и т.п и т.д.

4️⃣ Китайцы 🇨🇳 частенько говорят по английски плохо. Ну прям из ряда вон плохо. Как читаешь статейки прямо все по маслу, такие вычурные обороты, достойные Джейн Остин, Толкина и Байрона, а как доходит дело до устной речи, не понимают даже вроде бы довольно простые вопросы... Один даже честно признался, что не могет в инглиш и включил Google Translate с английского на китайский на планшете... Тем не менее, с некоторыми возникали прямо содержательные и интересные обсуждения. Например, с авторами SANA и SVD-Quant. Китайцы наиболее широко представлены среди всех национальностей, что , впрочем, неудивительно.

5️⃣ Имеет место явление, что на конференцию подаются несколько статей +/- про одно и тоже. На текущем ICLR я видел 3-4 статьи про комбинирование вращения + smoothquant для лучшей квантизации весов и активаций, и так же 3/4 статьи про sliding window + prefix attention с небольшими концептуальными отличиями.

6️⃣ В Сингапуре жарко снаружи и холодно внутри в помещениях. Прямо как в баньке с контрастным душем. Мерзнешь от кондиционеров и бежишь наружу париться, и когда напаришься вдоволь - идешь охлаждаться.

7️⃣ Все дорого. Прямо от слова совсем. И кофий не чета тому, что в Москве. За 8-9 баксов наливают бурду, которую в условном cofix / one price coffee постесняются налить за вчетверо меньшую сумму.

8️⃣ Город богатый и впечатляет. Возможно, меня покусал Варламов, но небоскребы тут смотрятся как-то гармонично и естественно в отличие от Москва-сити.

9️⃣ С алкашкой грустненько. И зожников много, везде видишь бегунов и велосипедистов.

1️⃣0️⃣ Дуриан выглядит классно. Прям хочется взять к себе домой эту здоровенную шишку, но запрещено законом.

BY КПД