tgoop.com/world_of_robotics/4445
Last Update:
👓 Роботов можно обучать с помощью очков
Обучать роботов повседневным задачам — от мытья посуды до уборки кухни — невероятно трудоёмко. Обычно это требует тысяч аннотированных видео, сложного оборудования и долгих демонстраций. Но учёные из Нью-Йоркского университета и UC Berkeley предложили нечто радикально новое: обучение роботов через «глаза» человека — без роботов, телеманипуляторов и дорогостоящих студий.
Новая система называется EgoZero, и в её основе — AR-очки Project Aria. Всё, что нужно — надеть очки, выполнить простые действия в быту (открыть духовку, вытереть стол, переложить предметы), и всё это будет записано с точки зрения человека, но обработано как робототехническая демонстрация.
Роботу достаточно всего 20 минут таких записей, чтобы научиться новой задаче. Видео превращается в трёхмерное представление, из которого алгоритм извлекает ключевые паттерны поведения и переносит их в политику управления манипулятором.
Разработчики уже выложили код EgoZero на GitHub, позволяя другим командам использовать его и расширять. А в будущем они хотят протестировать, как различается эффективность 2D и 3D-представлений, и объединить такие подходы с большими мультимодальными моделями, как это уже делают в генеративных ИИ.
#МирРобототехники #Робототехника #Робот #Роботы #Инновации #Технологии
