Создание робота, который может понимать и учиться взаимодействовать, наблюдая за людьми, вызвало несколько проблем со зрением.
Однако, несмотря на некоторые успешные результаты на статических наборах данных, остается неясным, как текущие модели можно использовать непосредственно на роботе.

В этой статье мы стремимся восполнить этот пробел, используя видеозаписи человеческих взаимодействий в ориентированной на окружающую среду манере. Используя интернет-видео о человеческом поведении, мы тренируем модель, которая оценивает, где и как на сцене человек может взаимодействовать. Структура этих поведенческих возможностей напрямую позволяет роботу выполнять множество сложных задач. https://robo-affordances.github.io/