tgoop.com/bigdatai/631
Last Update:
Panoptic Scene Graph Generation
Мы живем в трехмерном пространстве, в то время как движемся вперед через четвертое измерение - время.
Новая модель 4D Panoptic Scene Graph (PSG-4D), для всестороннего понимание 4D-окружения, которое объединяет необработанные визуальные данные, воспринимаемые в динамичном 4D-мире, и визуальное понимание высокого уровня
PSG-4D интерпретирует различные сенсорные данные в формате 4D в узлы, которые представляют объекты с точным местоположением и информацией о статусе объекта, и ребра, которые фиксируют временные отношения.
Чтобы облегчить исследования в этой новой области, разработки выпустили аннотированный набор данных PSG-4D, состоящий из 3K RGB-D видеороликов общим объемом 1 млн кадров, каждый из которых помечен 4D-масками для сегментации, а также детализированными динамическими графиками сцен.
Для решения задачи PSG-4D представлена PSG4DFormer - модель на основе трансформеров, которая может предсказывать маски сегментации, отслеживать маски вдоль оси времени и генерировать соответствующие графики сцен с помощью компонента отношений.
Обширные тесты с новым набором данных показывают, что метод может послужить надежной основой для будущих исследований PSG-4D.
▪Github
▪Paper
@ai_machinelearning_big_data
BY Big Data AI
Share with your friend now:
tgoop.com/bigdatai/631