#ICLR2025 На конференции проходят специальные social мероприятия - по сути короткие воркшопы на заданную тему. Мне очень понравился евент "ML for Accelerating Scientific Discovery: Challenges and Opportunities", на котором даже стоячих свободных мест не было. Организовывала лаборатория Nikhil Muralidhar из Stevens University. Отличным был доклад Chandan Reddy про современную символьную регрессию. Он недавно проводил туториал по поиску символьных уравнений с подробным обзором. Сами они разрабатывают трансформерные модели (мы тоже такие используем для MBRL) для регрессии и в последнее время стали использовать активно и языковые модели, как в статье LLM-SR. Есть и метод поиска с MCTS 🦾 Делают и специальный бенчмакр под эту задачу - LLM-SRBench.

#ICLR2025 На сверх-актуальную тему (судя по ее цитатам) "Towards Building Safe and Secure AI: Lessons and Open Challenges" выступала очаровательная Dawn Song. Четко разделила два типа безопасности в моделях (safety vs security) и проводила много примеров из области современных языковых моделей. Классический пример - утечка данных из обучающией выборки через специфический промпт. Из недавних ее работ - AgentPoison, как отравить память агента через RAG😨 Отмечу, как в конце она завершила целом списком угроз демократии от современных технологий. По этому поводу сделали даже целый евент на конференции🙏. Переживают.

#ICLR2025 Порадовала сессия "Test of Time Winner", на которой уже традиционно представляют работы ровно 10 летней давности, принятые в свое время на ICLR и которые оказали важное влияние на всю область. В этом году отобрали всем известные работы, о которых даже многие и не знают, что они подавались именно на ICLR. "ADAM: a method for Stochastic optimization" от DP Kingma и J Ba уже стал классикой. Первый был во время сабмита аспирантом 1 курса, а второй - только заканчивал магистратуру. Джимми при этом никак не мог сдать какой-то предмет и чтобы получить зачет ему пришлось поработать над задачей разработки оптимизатора для автокодировщиков. Так и появился ADAM. Кстати, в начале на конференции они получили reject, но Джимми не сдался, написал аппеляцию и в итоге их все-таки взяли с постером🥳. Поучительная история.

Второй отмеченной работой стала "Neural Machine translation by jointly learning to align and translate", в которой первыми изобрели трансформер :) Выступал белорус Dzmitry Bahdanau, который делал эту работу во время летней стажировки у Бенжо. Интересно обсуждал современные попытки сделать пост-трансформеры. Сам по этому поводу скептичен, но сичтает, что в связке с оптимизацией железа - тут еще можно что-то будет накопать.

Что, интересно оба докладчика в конце говорили про угрозы от современных технологий ИИ. Даже признавались, что их пугает скорость их развития и это сказывается на росте неравенства в мире. С последним с коллегами сложно не согласиться🫣