tgoop.com/junkyardmathml/183
Last Update:
Всех с новым 2025г. Обобщенное и ультимативное мета-пожелание: всем реализации планов и внутренней гармонии.
Коротко про мой 2024: путешествовал по Японии 🇯🇵 и миру 🇦🇹🇬🇧🇳🇱🇸🇰. Публиковал статьи. Знакомился с разными странными людьми. Закончил аспирантуру вышки. Стал пить кофе. Активным в канале быть предельно не получилось, но в качестве целей запланировал в новом году писать посты часто. За год много разбирался в разных темах и задачах, сформировался топ наиболее интересных и важных статей:
- The Platonic Representation Hypothesis. Предлагается гипотеза о сходимости представлений больших моделей к общему универсальному "платоническому" представлению.
- Godel Agent. Разрабатывается LLM агент, который рекурсивно себя улучшает, в каком-то смысле он имеет некоторую "модель" себя же.
- The Super Weight in Large Language Models. Обнаруживается, что в LLM есть веса (super weights), зануляя которые можно почти полностью занулить перформанс модели.
На ICML 2024 был представлен ряд важных Position papers.
- Position: LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks. LLM плохие ризонеры, но хорошие помощники, модули для ризонинга.
- Position: Topological Deep Learning is the New Frontier for Relational Learning. Этой статьей фиксируется рождение отдельного направления - топологической глубокое обучение, в рамках которого топологическими структурами представляются специфичные данные и обрабатываются с помощью архитектур TDL (как правило это обобщения GNN)
- Position: Categorical Deep Learning is an Algebraic Theory of All Architectures. Разрабатывается мостик между теорией категорий и глубинным обучением. Переговариваются способы проектирования архитектур нейронок в терминах теории категории. Авторы организовали стартап Symbolica, очень интересно понаблюдать за его развитием.
- GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education. Исследуется актуальный прогресс в области детекции ИИ-сгенерированного контента, методы детекции и способы обмана этих детекторов специальной манипуляцией контентом
- Solving olympiad geometry without human demonstrations. Нейросимвольная система решения олимпиадных геометрических задач, подробно здесь.
- Towards Foundation Models for Knowledge Graph Reasoning. Первая фундаментальная GNN модель для больших графов.
если говорить про офф-топ темы, не относящиеся к ML, для меня было несколько находок интересного контента:
В этом году была инициирована Алиповым (известный в узких кругах нейробиолог) в русском интернете большая дискуссия на тему биохакинга и фармакологии: про БАДы, всякие добавки и антидепрессанты. Ссылкой на множество мета-анализов и обзоров ставится под сомнение эффективность их использования. Было очень интересно наблюдать за прогрессом в спорах на эту тему, для введения можно посмотреть дебаты с биохакером Каспаровым и более академическую дискуссию с химиком профессором Дадали.
Особенно отозвалась в моей душе серия подкастов Максима Калинина про сирийских мистиков - это философы-богословы в восточной христианской традиции жившие в 4-8 веках н.э в странах ближнего востока - Ирак, Иран, Сирия. Про их рефлексию ранней христианской догматики, про их повседневную мудрость, и практическую философию. Подкаст "Отвечают Сирийские мистики" и цикл семинаров в которых разбираются древние тексты на арамейском языке с филологической и исторической точки зрения. Очень помог мне в успокоении в трудные периоды.
Всем удачного 2025 года!
BY Math and ML stuff
Share with your friend now:
tgoop.com/junkyardmathml/183