Мы представляем автоматический конвейер генерации синтетических данных, который настраивает VLM на инструкции и потребности роботов. Используя конвейер, мы обучаем ROBOPOINT , VLM, который предсказывает возможности ключевых точек изображения с учетом языковых инструкций. По сравнению с альтернативными подходами наш метод не требует сбора данных в реальном мире или демонстрации человеком, что делает его гораздо более масштабируемым для различных сред и точек обзора. Кроме того, ROBOPOINT — это общая модель, которая позволяет использовать несколько приложений, таких как навигация робота, манипуляция и помощь дополненной реальности (AR). Наши эксперименты показывают, что ROBOPOINT превосходит современные VLM (GPT-4o) и методы визуальных подсказок (PIVOT) на 21,8% по точности прогнозирования пространственной доступности и на 30,5% по показателю успешности последующих задач.

https://robo-point.github.io/
https://arxiv.org/abs/2406.18915

Улучшение зрения роботов: саккады

https://habr.com/ru/companies/ua-hosting/articles/826376/

2 захвата SSG48 с открытым исходным кодом в режиме двусторонней телеуправления. Это по сути позволяет вам иметь подчиненный захват, который является тактильным устройством. Этот режим идеально подходит для телеуправления или имитационного обучения.
Подробнее здесь: https://github.com/PCrnjak/SSG-48-adaptive-electric-gripper

Мягкий робот может ампутировать и прикреплять обратно свои ноги Этот робот, созданный по образу ящериц и муравьев, может менять свою форму по своему желанию.

Среди многих вещей, которые люди не могут делать (без довольно существенных изменений), — это изменение морфологии нашего тела по требованию. Звучит немного экстремально, когда речь идет о таких вещах, как самоампутация, и это немного экстремально, но это также не является чем-то необычным для других животных — ящерицы могут отсоединять свои хвосты, чтобы спастись от хищника, например. И это работает и в обратном направлении, когда животные, такие как муравьи, дополняют свою морфологию, соединяясь друг с другом, чтобы преодолеть щели, которые один муравей не смог бы преодолеть в одиночку.

В новой статье робототехники из The Faboratory в Йельском университете наделили мягкого робота способностью отсоединять и прикреплять части себя, при необходимости изменяя морфологию своего тела. https://www.eng.yale.edu/faboratory/

Полное руководство по настройке компьютера для ROS

https://medium.com/@skstushar2/complete-guide-to-setting-up-your-computer-for-ros-d6057c4471ef

Самый маленький и легкий дрон на солнечных батареях отправляется в полет

Ученые в Китае построили то, что они называют самым маленьким и легким летательным аппаратом на солнечных батареях. Он достаточно мал, чтобы поместиться на ладони человека, весит меньше американской пятицентовой монеты и может летать бесконечно, пока на него светит солнце.

Ученые подробно описали свои выводы 17 июля в журнале Nature .

Собака-робот убирает пляжи с помощью пылесосов, закрепленных на ногах. Благодаря VERO в Генуе стало меньше окурков, разбросанных по земле

Вы когда-нибудь задумывались, как насекомые могут уходить так далеко от своего дома и все равно находить дорогу? Ответ на этот вопрос важен не только для биологии, но и для создания ИИ для крошечных автономных роботов. Нас вдохновили биологические открытия о том, как муравьи визуально распознают окружающую среду и сочетают это с подсчетом своих шагов, чтобы безопасно вернуться домой.

https://www.science.org/doi/10.1126/scirobotics.adk0310

Мы предлагаем RialTo — новую систему для усиления политики имитационного обучения в реальном мире посредством обучения с подкреплением в имитационных средах «цифровых двойников», создаваемых на лету из небольших объемов данных реального мира.

https://real-to-sim-to-real.github.io/RialTo/

Hyperion — это новая, модульная, распределенная, высокопроизводительная оптимизационная среда, ориентированная как на дискретные, так и на непрерывные приложения SLAM (Simultaneous Localization and Mapping).

https://www.marktechpost.com/2024/07/13/hyperion-a-novel-modular-distributed-high-performance-optimization-framework-targeting-both-discrete-and-continuous-time-slam-applications

Спидран в реальности: история робота, который быстрее всех в мире собирает кубик Рубика

Всем привет! Сегодня я опишу свой путь от человека, который не умел собирать кубик Рубика, к человеку, который всё ещё не умеет делать это сам, но уже использует робота для этой задачи.

Для начала определимся с исходными данными. Как у программиста, у меня был крайне разнообразный опыт (сейчас я занимаюсь инфраструктурой рантайма больших языковых моделей в Яндексе). Но в робототехнике опыт был почти нулевой (играл в LEGO MINDSTORMS).

Однажды я увидел, как робот ребят из MIT собирает кубик Рубика за 0,38 секунды. Пересмотрев ролик в замедленной съёмке, решил, что в их решении есть что оптимизировать и этот рекорд можно побить. Как раз в то же время я оказался в окружении людей, которые занимаются робототехникой, поэтому интерес к проекту в целом поддерживался, да и разнообразное оборудование было в доступе.

Из этой статьи вы узнаете, как мне удалось превратить сырую идею в новый рекорд, не обладая необходимым опытом и совершая ошибки на каждом возможном этапе. https://habr.com/ru/companies/yandex/articles/831708/

В этой статье представлен Ray, новый тип головы аудио-аниматронного робота. Вся механическая структура робота построена за один шаг с помощью 3D-печати... Эта простая, легкая структура и отдельная система привода на основе сухожилий под ней обеспечивают плавные, быстрые движения робота. Мы также разрабатываем модуль генерации движения, управляемого звуком, который автоматически синтезирует естественные и ритмичные движения головы и рта на основе заданного звука.

https://ieeexplore.ieee.org/document/10551622

Исследователи Google DeepMind представляют Diffusion Augmented Agents: фреймворк машинного обучения для эффективного исследования и передачи обучения

https://www.marktechpost.com/2024/08/02/google-deepmind-researchers-introduce-diffusion-augmented-agents-a-machine-learning-framework-for-efficient-exploration-and-transfer-learning

Исследователи CSAIL представляют новый подход, позволяющий обучать роботов в условиях моделирования сканированной домашней обстановки, что открывает путь к индивидуальной автоматизации домохозяйств, доступной каждому.

https://news.mit.edu/2024/precision-home-robotics-real-sim-real-0731

Современные визуальные навигационные системы часто рассматривают окружающую среду как статическую, лишенную возможности адаптивного взаимодействия с препятствиями. Это ограничение приводит к сбою навигации при столкновении с неизбежными препятствиями. В ответ на это мы представляем IN-Sight, новый подход к самоконтролируемому планированию пути, позволяющий использовать более эффективные стратегии навигации посредством взаимодействия с препятствиями.

https://arxiv.org/abs/2408.00343

Компания Unitree открыла исходный код своего программного обеспечения для телеуправления гуманоидами в виртуальной реальности с целью сбора данных для обучения.

https://github.com/unitreerobotics/avp_teleoperate

Список статей 3D Vision, относящихся к области робототехники в эпоху больших моделей, т.е. LLM/VLM, вдохновленных удивительным компьютерным зрением, включая статьи, коды и соответствующие веб-сайты

https://github.com/zubair-irshad/Awesome-Robotics-3D

Массовая версия Unitree G1, прыжок в будущее! За последние несколько месяцев робот Unitree G1 был модернизирован до версии для массового производства, с более высокой производительностью, превосходным внешним видом и более соответствующим требованиям массового производства.