1. Что представляют из себя роботы с точки зрения программного обеспечения

Начать наше путешествие стоит с базового представления о том, как устроено ПО, которое оперирует роботами. Да, вопросы механики и электроники рассматривать мы не будем - это было бы слишком для DL-блога) Привести строгую иерархию и/или классификацию решаемых задач довольно сложно, т.к. у разных типов роботов (колесные/гусеничные мобильные роботы, манипуляторы, четвероногие роботы) есть свои особенности. Однако, следующие задачи так или иначе актуальны для большинства роботов:

• Управление (control)
• Восприятие (perception)
• Планирование (planning)

Управление (control), пожалуй, находится наиболее близко к границе между софтом и железом. Как бы очевидно это не звучало, но задача управления - привести робота в движение в соответствии с входным управляющим воздействием при наличии различного рода отклонений и внешних воздействий (например, изменяющиеся параметры трения, массы робота, и многое другое). Все это дело строится по большей части на основе теории автоматического управления (ТАУ), в англоязычных источниках её также называют Control Theory или просто Controls.

К восприятию (perception) относят все, что помогает роботу понимать, что происходит в окружающем его мире. В первую очередь, к этому относится обработка показаний всевозможных сенсоров и извлечение полезных данных из их показаний. Одними из самых сложных и самых важных направлений здесь являются задачи, связанные с "пониманием" роботом своего положения и движения в пространстве, а именно:

• Картирования (mapping) - построение карт пространства;
• Локализации (localization) - определения положения по построенной карте;
• Одометрии (odometry) - оценка перемещения робота относительно начальной позиции.

Первые две задачи часто объединяют в одну под названием simultaneous localization and mapping (SLAM).

• Планирование (planning) часто относят к высокоуровневым компонентам роботехнического стэка, т.е. максимально отдаленных от железа и, во многих случаях, универсальных в пределах "типажей" роботов. Здесь хотелось бы привести субъективную классификацию направлений:
• Планирование пути (path planning) - поиск маршрута к заданной точке на карте (либо без нее);
• Планирование движения (motion planning) - в какой-то степени более обобщенное видение предыдущего пункта - планирование последовательности промежуточных состояний робота для достижения целевого состояния (актуально, например, для манипуляторов и гуманоидных роботов);
• Планирование поведения (behaviour planning) - планирование некой высокоуровневой последовательности действий, или миссии для робота

Стоит отметить, что данная схема направлений не является строгой - так, например, многие методы находятся на стыке или инкапсулируют в себе сразу несколько направлений, чаще всего - планирование и управление, либо планирование и восприятие.

2. Как и зачем мы можем применить машинное обучение

Для всех направлений, безусловно, существует множество классических, устоявшихся подходов. Однако, накопленный индустрией опыт выделяет следующие проблемы, которые может помогает решить ML:
• Сложность построения и тюнинга математических моделей (актуально в первую очередь для управления и планирования), а также проблема их устойчивости - для решения этой проблемы активно развивается применение методов Reinforcement, Supervised и Self-supervised Learning;
• Область восприятия во многом строится на методах 2D и 3D компьютерного зрения. Для задач детекции объектов, очевидно, у нас есть SOTA-нейронные детекторы. Для решения задач локализации и картирования классические методы сами по себе являются довольно сильными бейзлайнами, и одно из направлений применения ML - это глубокие методы 2D и 3D Feature Extraction и Feature Matching;
• Работа с "неформальными" входными данными и целями. Пример подобных задач - движение робота с соблюдением каких-либо правил (например, социальных норм), или, например, поиск объекта и последующая манипуляция на основе только лишь изображения или текстового описания объекта. В подобных примерах очень тяжело составить математические модели и постановку задачи, и здесь на помощь приходят те же RL, Self-supervised Learning, а также LLM-ки.

Однако, вместе с применением ML возникают и дополнительные сложности:
• Проблема "переноса из симуляции в реальный мир" (Sim2Real gap) - актуально в первую очередь для RL-политик и ряда vision-моделей, обученных в симуляторах;
• Проблема generalization, в общем-то ставшая классикой для ML;
• Проблема безопасности и сертификации - для ряда классических подходов к управлению и планированию были разработаны методы, позволяющие получить некоторые формальные гарантии к безопасности системы, в подходах на основе ML с этим все обстоит намного сложнее.

Эти, а также многие другие области применения и вызовы мы рассмотрим в следующих постах на примере различных публикаций, как свежайших, так и уже ставших "классикой"!

3. Ссылки для ознакомления по применению ML в робототехнике

Хороших вводных материалов по всем областям найти сложно (либо я плохо гуглил), но вот что пожалуй прикреплю, по крайней мере часть из них могу настоятельно рекомендовать:

● Репозиторий PythonRobotics -крутой образовательный репозиторий с реализациями методов локализации, картирования и планирования. Можно позалипать на анимации и погуглить подробнее про интересующие методы.
● Overview of Robot Perception - нагуглил презу с вводной лекции курса по perception, можно как минимум посмотреть на постановки задач и разные сенсоры
● Introduction to SLAM -вводный пост про SLAM от ведущего производителя лидаров
● SLAM for Dummies - несмотря на название, имхо очень хорошая вводная "методичка" для тех, кто хочет углубиться в SLAM
● Motion Planning and Control for Mobile Robot Navigation Using Machine Learning: a Survey
- большой, но хороший обзор по соответствующей теме.
● The Theory of Control: A Brief Overview - очень сжатый пересказ базы из теории управления, скорее подойдет тем, кто уже изучал её и хочет освежить в памяти основы.
● Скину пожалуй пару ссылок на awesome-подобные репозитории: первый, второй, Awesome-embodied-vision и Awesome-LLM-Robotics.

Друзья! Кто открывал чудесный шевелящийся текст пару постов назад, тот видел, что готовится серия постов про  LLM.

Так вот, мы дописали! И нет, "мы" — это не я и мои кошки =)

Сегодня я закончила допрос Андрея (а Андрей — допрос меня), и мы сделали целых два поста про  LLM и интерпретацию этих моделей.

В первой части рассмотрены вопросы теории:

- Какие выделяются виды LLM моделей и откуда различия между ними?
- Почему мне и вам полезно знать про LLM и где они могут пригодиться?

Практики:

- Какие библиотеки будут полезны для работы с LLM, и какие используют наиболее?
- Где можно ли обойтись базовыми моделями типа W2V или BoW?

И момент мечтаний:

- Какой тренд в развитии LLM на базе последних исследований?

Мы мучили друг друга две недели и надеемся, что получилось awesome. Ждем вашего прочтения и если будут еще вопросы – ждем ещё вопросов!

А читать...читать здесь 🐤
Кооперация с @awesome_dl

#10 Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models

It is time to talk about video generation! I prepared a post, that explains, how we can turn the usual Latent Diffusion model, that can generation images, to the video-diffusion model, that shows quite good results for temporal consistency in HR!

Milk dripping into a cup of coffee, high definition, 4k

#diffusion #video #t2i #t2v #SD

Translating Thoughts Into Words: Advances In Brain-Machine Communication 🧠

I have already made post about decoding fMRI to images. But recently I found very interesting post about constructing continuous language using only MRI brain scans.

fMRI scans were taken while people were reading and later thinking and then the decoder was trained to map each individual’s speech and thought patterns, enabling it to recognize brain signals and translate them into words or phrases.

The map included three subsets of the activated brain:

- speech,
- association,
- prefrontal.

The main difficulty is that the decoder produce a different word sequence from different brain part.

For example:

The phrase was promted to decoder:

I drew out this map for you and you’re really you’re like a mile and a half from home.

The left prefrontal cortex:

the number on a map and find out how far they had to drive to reach the address

The right prefrontal cortex:

just to see how long it takes so I drove down the hill and over to the bank

Even though the phrases are different - they all discuss similar ideas. The possible explanation is that there are many more words than possible brain images, leading to the decoder giving its best estimation from the 16-hour reading dataset.

More about this research: here

Thanks to the post

#news #brain #AI

В Pytorch 2.1 завезли 2:4 semi-structured sparsity!

Напомню, что произвольный паттерн неструтурированного прунинга не поддерживается на GPU, но начиная с поколения Ampere реализована аппаратная и программная поддержка 2:4 паттерна, где на 2 позициях из 4 стоят ненулевые веса. В общем случае N:M sparsity N ненулевых весов из M.

До недавних пор, чтобы воспользоваться 2:4 sparsity нужно было напрямую использовать ядра из cuSparse или CUTLASS или пользоваться скомпилированной с --sparsity моделью в TensorRT. Но теперь semi-structured sparsity доступна почти всем желающим.

Примечание 😐.
2:4 sparsity работает только на Ampere / Hopper. Не ожидайте ускорения на колабовской T4.

Теоретическое ускорение и сжатие, которое дает такой паттерн, 16/9 для half precision и 16/10 для int8. Но на практике, увы не все так радужно. Реальное ускорение инференса в районе 10-30% (в хорошем сценарии).

Сжатие в 2:4 без дообучения обычно заметно просаживает качество (за исключением совсем больших моделей). Но его можно быстро восстановить, дообучая на целевой задаче.

В приведенном примере c BERT качество сжатой модели такое же как у и исходной после дообучения. При маленьких батчах инференс BERT c 2:4 sparsity работает медленее, чем dense матричные операции, но с ростом батча выигрыш от разреженности становится заметным и стабилизируется в районе 20-30%. Заметим, что в BERT сравнительно небольшие матрицы, и на условной Llama выигрыш будет наблюдаться уже на батче с 1-2 последовательностями.

Документация в торче
Туториал с прунингом BERT
Статья Nvidia про 2:4

У 🤗 месяц назад вышел пост по оптимизации LLMов.

Квантизация, FlashAttention, KV-cache, Multi-Query-Attention, Grouped-Query Attention.

Это мы читаем/сохраняем.

https://huggingface.co/blog/optimize-llm

Не проплаченной рекламы пост)

Год близится к концу и я захотел поделиться подборкой ТГ каналов по машинке и глубокому обучению. С многими из них многие из вас уже, полагаю, знакомы, но некоторые среди них могут стать для кого-то открытием. Список не имеет четкого порядка и элементы ниже в том порядке, в каком доставались из сознания автора:

1) gonzo-обзоры ML статей
Классный канал с детальными и подробными разборами, во многом вдохновивший меня на создание собственного канала. Кроме того там публикуются новости из мира AI, математики, философии и всякая сборная солянка.
2) Abstract DL
Короткие разборы и анонсы разных вкусностей из мира CV, NLP.
3) Concise Research
Краткий, но исчерпывающий рисерч в области компьютерного зрения и не только. Если хотите в компактной форме, но при этом в достаточном содержании понять суть статьи - вам сюда.
4) Сиолошная
Новости из мира NLP, где иногда разьясняют всякие прикольные штуки и фишки в современном NLP. Новости из мира AI и еще про космос.
5) Что-то на DL-ском
Классный блог с аннотациями статей по NLP, CV, находками автора и обзором полезных инструментов и хаков.
6) Love, Death, Transformers
Классная подборка всякой всячины из мира AI, от образовательных статей до социальных и житейских моментов. Культура, мемы, веселье.
7) Voronkov_AI_RU_public: ChatGPT, langchain, LLM
Анонсы и новости из мира глубокого обучения и AI. Преимущественно про NLP, но не только. Сборник новостей, образовательных и обучающих материалов с разных источников.
8 ) grokaem себя
Милый и уютный канал, где время от времени появляются хорошие статьи, проясняющие тот или иной концепт из области NLP. Саморазвитие, опросы, разьяснение и разбор распостраненных и не очень ошибок. Классные истории из жизни с счастливым концом.
9) Machine Learning
Краткие анонсы и ссылки на разные новинки в области машинного обучения. Преимущественно прикладного толка и с ориентацией на репозитории, где есть разные красивые демки.
10) Awesome DL
Отличный канал с разборами статей из разных областей DL разной длины, в том числе и с видеоразборами.
11) Kali Novskaya
Преимущественно про NLP, но и не только. Подборка новостей из разных областей. Мемы, культура, искусство.
12) эйай ньюз
Просто самый лучший канал.