#CLeaR2025 Кроме больших конференций на 5000 человек🇨🇳 полезными оказываются и небольшие локальные конференции на 100-200 человек🇨🇭. Содержательно это чем-то похоже на воршкопы при топовых событиях, только на несколько дней и со своим сборником трудов. Недавно завершилась одна из таких конференций, Causal Learning and Reasoning, проходившая в EPFL. Основная тема - каузальные графические модели, в том числе в приложении к методам машинного обучения🤖. Мы здесь представляли свою работу - Relational Object-Centric Actor-Critic про объектно-центричного актора-критика с графической моделью мира.

Среди пленарных докладчиков выделю Elias Bareinboim из Колумбийского университета, который является двигателем каузальных методов ИИ, написал об этом целую книгу и как раз с выдержками из нее делал доклад. Он был аспирантом известного Джуди Пирла и пользовался концепцией трехуровневой иерархии причинно-следственных связей. Оказывается каузальные модели вполне совместимы и с генеративными моделями и с обучением с подкреплением. Последняя тема набиолее интересна, есть целый большой туториал на эту тему, но, к сожалению, дальше простых многоруких бандитов пока это не заходит.

Из устных докладов интересным показался рассказ коллег из Института Макса Планка про алгоритм кауазального сжатия через Колмогоровскую сложность. Был еще стенд с демонстрацией, где показывали великолепно оформленную и задизайненную пару установок для генерации физически обоснованных и контролируемых данных для тестирования разных каузальных моделей.

И как обычно, в заключение несколько постеров с конференции про каузальный вывод.

Давно не было подборки интересных статей в #digest, но вот несколько примечательных майских работ по нашим текущим научным интересам:
1) Slot-MLLM: наша любимая объектно-центричная тема продолжает развитваться, теперь в направлении мультимодальных моделей. Здесь Slot Attention испоьзуется в качестве эффективного токенизатора на базе Q-former кодировщика. Такой токенизатор позволяет существенно улучшить результаты на визуально-языковых задачах.
2) Reason without External Rewards: использование RL для дообучения LLM и VLM это теперь общее место🥸, но то, как формировать вознаграждение здесь самый интересный вопрос. Оказывается, вознаграждение можно брать виде внутреннего сигнала от языковой модели (как внутренняя мотивация в RND/ICM) как оценку само-уверенности модели в ответах. Разработанный INTUITOR только на таком сигнале оказывается ничем не хуже GRPO на математических бенчмарках🦾.
3) Knowledge Insulating VLA: продолжаю следить за самым передовым робостартапом с ивзестными RL-щиками в составе. Использование больших VLA моделей требует больших ресурсов и сложно сочетается с выполнением действий в реальном времени. Здесь коллеги предложили использовать диффузионного эксперта для генерации действий, который имеет небольшой размер и на нижнем уровне поддерживает непрерывное выполнение действий. Как обычно, показывают много домашних задач, особеноо умилило заправление кровати🛌
4) VLA-RL: товарищи из Цинхуа🇨🇳 предложили очередной фреймворк для онлайн RL дообучения авторегресионных VLA моделей на конкретных задачах. Интересная идея - представить тректории манипуляционных действий робота в виде мультимодального многошагового диалога со средой. Плюс добавили еще обучение специальной модели вознаграждений как в RLHF. Конечно, бьют уже всеми избитые🏌️ Octo и OpenVLA на свежем наборе задач LIBERO.
5) RL Bring to VLA Generalization: продолжая тему того, что делают товарищи в Цинхуа🇨🇳, отмечу еще работу с важным вопросом в заголовке, что добавляет RL при дообучении VLA. В работе проведен довольной качественный анализ разных схем дообучения с PPO, GRPO, DPO. Основной вывод - дообучение, особенно с PPO🥱, приводит у существенному росту обобщающей способности. Ну что, в целом, и было понятно и до этого, но зато теперь с доказательствами.
6) RoboCulture: товарищи из Торонто продолжают двигать в массы нашу тематику AIRoboScientist. На этот раз манипулятор служит для задач автоматизации биологических экспериментов. Протокол эксперимента представлен в виде поведенческого дерева. Но из функций только орудование пипеткой.
7) Continuous Thought Machines: и очередная работа от нашумевшего стартапа Sakana.ai, на этот раз менее хайповая, но неожиданно по интересной нам теме биологически правдоподобных моделей обучения. В статье моделируют нейронную динамику, где синхроинзация нейронов приводит к формирования латентных представлений. Смогли показать на такой гибридной архитектуре разумные результаты на классификации изображений и даже на ответы на вопросы по изображениям. Это уже явно не игрушечный, а вполне масштабируемый пример работы биологически правдоподобных моделей🦾.