Warning: Undefined array key 0 in /var/www/tgoop/function.php on line 65

Warning: Trying to access array offset on value of type null in /var/www/tgoop/function.php on line 65
24 - Telegram Web
Telegram Web
Channel name was changed to «Universal Autonomy Initiative»
Channel photo updated
Channel photo updated
В связи с недавней утечкой внутренних архивов, объявляется мобилизация сил Инициативы Универсальной Автономности!
Что-то надо написать в интро...

Инициатива Универсальной Автономности (Universal Autonomy Initiative, UAI) - подразделение фонда SCP open-source исследовательская инициатива, основанная в рамках Лаборатории Мобильной Робототехники Сколтеха. Наша, так сказать, организация ставит перед собой следующие задачи:

- Популяризация рисерча в области робототехники в восточной Европе, в особенности того, что в русских деревнях называют robot learning
- Достижения той самой Universal Autonomy (не путать с AGI!), о которой расскажем в отдельном посте
- Разбор хайповых (и не очень) статей по сабжу
- Создание позитивного культурно-меметичного слоя
- [ДАННЫЕ УДАЛЕНЫ]
- [ДАННЫЕ УДАЛЕНЫ]
- [НЕРАЗБОРЧИВО]

Но, на практике мы, конечно же, будем клепать мемы, перформансы и brainrot-животных.

STAY TUNED
👍1
Кста включили комменты
Для разогрева репостним пока старые посты с дружественного канала!
Forwarded from Awesome DL
Tags: #robotics #llm #reinforcement_learning

Title: Machine Learning in Robotics: a Brief Overview (Part 1)

TLDR: Вступительный пост к серии постов на тему применения машинного обучения, и, в частности, больших языковых моделей в задачах роботехники.

Недавно, я познакомился с областью робототехники и увидел в ней большой потенциал для искусственного интеллекта (для меня робот, выполняющий все бытовые обязанности предел мечтаний). Поэтому мне самому стало интересно погрузиться в эту тему и познакомить вас с ней. Поэтому я обратился к аспиранту Сколтеха Тимуру Ахтямову с просьбой рассказать о применении машинного обучения в этой области. Он согласился и поэтому вас ждёт увлекательная серия постов, посвященная ML в роботехнике.

———

Думаю, многие из тех, кто внимательно следит за миром искусственного интеллекта, заметили возросший интерес ряда крупных игроков, таких как Google (в лице DeepMind и Google Robotics), Meta и других корпораций, к применению LLM-ок и мультимодальных моделей в области робототехники, что, как мне кажется, привлекло к ней внимание многих ребят из "чистого" ML. В связи с этим в грядущей серии постов хотелось бы с одной стороны рассказать о том, какие проблемы решает машинное обучение в робототехнике, какую роль здесь играют языковые модели и почему их применение потенциально может привести к революции в индустрии, а с другой стороны сформировать некий хотя бы поверхностное введение в роботехнику для МЛ-ребят, не имевших опыта с работы с "околожелезячными" задачами.
👍1
Forwarded from Awesome DL
1. Что представляют из себя роботы с точки зрения программного обеспечения

Начать наше путешествие стоит с базового представления о том, как устроено ПО, которое оперирует роботами. Да, вопросы механики и электроники рассматривать мы не будем - это было бы слишком для DL-блога) Привести строгую иерархию и/или классификацию решаемых задач довольно сложно, т.к. у разных типов роботов (колесные/гусеничные мобильные роботы, манипуляторы, четвероногие роботы) есть свои особенности. Однако, следующие задачи так или иначе актуальны для большинства роботов:

Управление (control)
Восприятие (perception)
Планирование (planning)

Управление (control)
, пожалуй, находится наиболее близко к границе между софтом и железом. Как бы очевидно это не звучало, но задача управления - привести робота в движение в соответствии с входным управляющим воздействием при наличии различного рода отклонений и внешних воздействий (например, изменяющиеся параметры трения, массы робота, и многое другое). Все это дело строится по большей части на основе теории автоматического управления (ТАУ), в англоязычных источниках её также называют Control Theory или просто Controls.

К восприятию (perception) относят все, что помогает роботу понимать, что происходит в окружающем его мире. В первую очередь, к этому относится обработка показаний всевозможных сенсоров и извлечение полезных данных из их показаний. Одними из самых сложных и самых важных направлений здесь являются задачи, связанные с "пониманием" роботом своего положения и движения в пространстве, а именно:

Картирования (mapping) - построение карт пространства;
Локализации (localization) - определения положения по построенной карте;
Одометрии (odometry) - оценка перемещения робота относительно начальной позиции.

Первые две задачи часто объединяют в одну под названием simultaneous localization and mapping (SLAM).

• Планирование (planning)
часто относят к высокоуровневым компонентам роботехнического стэка, т.е. максимально отдаленных от железа и, во многих случаях, универсальных в пределах "типажей" роботов. Здесь хотелось бы привести субъективную классификацию направлений:
Планирование пути (path planning) - поиск маршрута к заданной точке на карте (либо без нее);
Планирование движения (motion planning) - в какой-то степени более обобщенное видение предыдущего пункта - планирование последовательности промежуточных состояний робота для достижения целевого состояния (актуально, например, для манипуляторов и гуманоидных роботов);
Планирование поведения (behaviour planning) - планирование некой высокоуровневой последовательности действий, или миссии для робота

Стоит отметить, что данная схема направлений не является строгой - так, например, многие методы находятся на стыке или инкапсулируют в себе сразу несколько направлений, чаще всего - планирование и управление, либо планирование и восприятие.
Forwarded from Awesome DL
2. Как и зачем мы можем применить машинное обучение

Для всех направлений, безусловно, существует множество классических, устоявшихся подходов. Однако, накопленный индустрией опыт выделяет следующие проблемы, которые может помогает решить ML:
Сложность построения и тюнинга математических моделей (актуально в первую очередь для управления и планирования), а также проблема их устойчивости - для решения этой проблемы активно развивается применение методов Reinforcement, Supervised и Self-supervised Learning;
Область восприятия во многом строится на методах 2D и 3D компьютерного зрения. Для задач детекции объектов, очевидно, у нас есть SOTA-нейронные детекторы. Для решения задач локализации и картирования классические методы сами по себе являются довольно сильными бейзлайнами, и одно из направлений применения ML - это глубокие методы 2D и 3D Feature Extraction и Feature Matching;
Работа с "неформальными" входными данными и целями. Пример подобных задач - движение робота с соблюдением каких-либо правил (например, социальных норм), или, например, поиск объекта и последующая манипуляция на основе только лишь изображения или текстового описания объекта. В подобных примерах очень тяжело составить математические модели и постановку задачи, и здесь на помощь приходят те же RL, Self-supervised Learning, а также LLM-ки.

Однако, вместе с применением ML возникают и дополнительные сложности:
Проблема "переноса из симуляции в реальный мир" (Sim2Real gap) - актуально в первую очередь для RL-политик и ряда vision-моделей, обученных в симуляторах;
Проблема generalization, в общем-то ставшая классикой для ML;
Проблема безопасности и сертификации - для ряда классических подходов к управлению и планированию были разработаны методы, позволяющие получить некоторые формальные гарантии к безопасности системы, в подходах на основе ML с этим все обстоит намного сложнее.

Эти, а также многие другие области применения и вызовы мы рассмотрим в следующих постах на примере различных публикаций, как свежайших, так и уже ставших "классикой"!
Forwarded from Awesome DL
3. Ссылки для ознакомления по применению ML в робототехнике

Хороших вводных материалов по всем областям найти сложно (либо я плохо гуглил), но вот что пожалуй прикреплю, по крайней мере часть из них могу настоятельно рекомендовать:

Репозиторий PythonRobotics -крутой образовательный репозиторий с реализациями методов локализации, картирования и планирования. Можно позалипать на анимации и погуглить подробнее про интересующие методы.
Overview of Robot Perception - нагуглил презу с вводной лекции курса по perception, можно как минимум посмотреть на постановки задач и разные сенсоры
Introduction to SLAM -вводный пост про SLAM от ведущего производителя лидаров
SLAM for Dummies - несмотря на название, имхо очень хорошая вводная "методичка" для тех, кто хочет углубиться в SLAM
Motion Planning and Control for Mobile Robot Navigation Using Machine Learning: a Survey
- большой, но хороший обзор по соответствующей теме.
The Theory of Control: A Brief Overview - очень сжатый пересказ базы из теории управления, скорее подойдет тем, кто уже изучал её и хочет освежить в памяти основы.
● Скину пожалуй пару ссылок на awesome-подобные репозитории: первый, второй, Awesome-embodied-vision и Awesome-LLM-Robotics.
Forwarded from Awesome DL
Всем привет 👋

Продолжаем серию постов под авторством @TimeEscaper, посвященную применению ML в Robotics. В данном рассказе мы осветили вопрос того, как научиться управлять четвероногими роботами:

- Какие знания полученные в симуляции перенести в реальный мир?
- Как научить роботов читерить?
- Как добавить роботам знания о внешнем мире?

Приятного чтения 🔥

P.S. Рекомендую посмотреть прикрепленные видео - они очень прикольные)

https://teletype.in/@awesome_dl/rl2robots
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Awesome DL
Всем привет 👋

Продолжаем серию постов под авторством @TimeEscaper, посвященную применению ML в Robotics. В данном рассказе мы осветили вопрос того, как применять языковые модели для обучения роботов:

- Как использовать LLM для генерации reward?
- Как переводить языковые команды в действия робота?
- Как использовать LLM для генерации алгоритмов роботов?

Приятного чтения 🔥
Please open Telegram to view this post
VIEW IN TELEGRAM
Тем временем, приближается важное для российской робототехники мероприятие — Russian ROS Meetup!

ROS Meetup изначально был посвящен фреймворку Robot Operating System (ROS) – одной из главных платформ для разработки робототехнического ПО. С годами масштаб и скоуп мероприятия сильно увеличились: от железа и embedded-приколов до RL и LLM. Отдельным представителям UAI доводилось принимать участие в самых первых итерациях мероприятия, так что мы сами видели, как оно эволюционировало из полулокального митапа до места сбора cutting-edge разработчиков и рисерчеров отечественной робототехники (хотя в этом году обещают ещё и доклады от коллег из Китая).

В этот раз, помимо основной конференции, пройдет целая серия воркшопов и мастер-классов — от хакатона по сборке робота до туториалов по RL и хардварным AI-ускорителям. Выглядит как идеально для тех, кто хочет вкатиться в роботикс!

Регистрация и программа воркшопов (4-6 апреля, дедлайн по регистрации — до 2 апреля!)

Регистрация и программа основной конференции (26 апреля)
1
ШОК!!!!!
Помните песню Man Who Sold the World из концовки Metal Gear Solid 5 ? Так вот, оказывается, если продать модель мира по низкой цене, то можно достичь AGI!!!!
Не верите?? А ведь гении теории управления показали это ещё в конце XX века, представив миру Model Predictive Control (MPC).

Но если серьезно, то мы подготовили для вас лонгрид про MPC. Из него вы узнаете, как строят эффективные и безопасные системы управления, как их подружить с нейросетями, а также причем здесь world models, Ян Лекун, и главное, смысл отсылки на Кодзиму выше.
База по SLAM

Пока готовим для вас лонгриды и рассказы про наши текущие эксперименты, разбавим тишину образовательными материалами. В этот раз — entry point и более продвинутые материалы по теме Simultaneous Localization and Mapping (SLAM).


1. SLAM for Dummies. Мини-книжечка про совсем основы SLAM-а: постановка задачи, проблемы и простейшие реализации. Пожалуй, лучшая вещь для тех, кто ещё не в теме и хочет вкатиться, но не знает, с чего начать.

2. SLAM Book. Уже ставшая классикой open source-книжка от одного профессора Xiang Gao из Китая. Полноценное учебное пособие с кучей матеши, как раз для тех, кому интересно освоить тему на более глубоком уровне. Упор идёт по большей части на Visual SLAM, но половина материала, а то и более, важна как основа для SLAM-а в целом.

3. SLAM Handbook. Узнал о ней совсем недавно из этого поста. По духу выглядит как что-то близкое к SLAM Book, но более свежее — часть топиков, судя по ридми, всё ещё в процессе добавления. Обещают завести также главы про современные методы т.н. Spatial AI. Материал сам ещё не чекал, но выглядит вкусно. Также один из авторов в репе — профессор Frank Dellaert — один из главных исследователей в области SLAM-а, известен как автор Square Root SAM — очень важной работы по сабжу.

4. Курс Perception in Robotics Сколтеха. Читает мой научный руководитель — профессор Gonzalo Ferrer. Курс с упором на матешу и теоретические аспекты. Основан по большей части на классической для области книге Probabilistic Robotics.

5. Цикл семинаров Tartan SLAM от CMU. В своё время (2022 год) позиционировался как обзор современных и перспективных методов SLAM-а, но поскольку область развивается не столь быстрыми шагами, как те же языковые модели, контент, думаю, вполне актуальный.


Делитесь в комментариях другими полезными ресурсами, о которых знаете!
👍32
Сотрудники UAI спешат представить вам новейшую разработку на стыке робототехники, биологии и брейнрота — Svinino Terminatino. Многофункциональный мобильный доспех с интерфейсом мозг-компьютер для оператора класса "свинья" позволяет решать широкий спектр задач в самых разных сферах: от охраны гражданских объектов (видео 1) до автономной парковки (видео 2).
😁1
2025/10/17 21:17:46
Back to Top
HTML Embed Code: