Big Data AI

🧠 Обзор Vision-Language-Action-моделей

Авторы рассматривают, как мульти­модальные системы переходят от «вижу + понимаю» к «вижу + понимаю + _действую_». Ключевая идея — любой VLA-подход превращается в цепочку action tokens, которые всё ближе к исполнимым командам. Они выделяют 8 типов таких токенов:

1. Языковое описание
2. Машинный код / скрипты
3. Affordance-токены (что можно сделать с объектом)
4. Траектории движений
5. Целевое состояние сцены
6. Латентные представления
7. Сырые управляющие сигналы
8. Reasoning-токены для пошагового планирования

Почему важно

* Таксономия позволяет сравнивать существующие работы «на одном языке», а не по разрозненным метрикам.
* Показано, какие токены лучше подходят для генерации длинных планов, а какие — для точного позиционирования робота.
* Авторы указывают белые пятна: нет единых бенчмарков, слабо изучена переформатируемость токенов, мало работ по переносу сим➜реал.

Action token — это компромисс между интерпретацией человеком и контролем робота. Разработчикам стоит подбирать тип токена под задачу, а не «брать первый попавшийся». Внедрение предложенной классификации упростит сравнение новых моделей и ускорит путь к универсальным агентам. 🔥

https://huggingface.co/papers/2507.01925

🤯2

www.tgoop.com/bigdatai/1376

1.75K viewsJul 6 at 11:03

🧠 Обзор Vision-Language-Action-моделей

Авторы рассматривают, как мульти­модальные системы переходят от «вижу + понимаю» к «вижу + понимаю + _действую_». Ключевая идея — любой VLA-подход превращается в цепочку action tokens, которые всё ближе к исполнимым командам. Они выделяют 8 типов таких токенов:

1. Языковое описание
2. Машинный код / скрипты
3. Affordance-токены (что можно сделать с объектом)
4. Траектории движений
5. Целевое состояние сцены
6. Латентные представления
7. Сырые управляющие сигналы
8. Reasoning-токены для пошагового планирования

Почему важно

* Таксономия позволяет сравнивать существующие работы «на одном языке», а не по разрозненным метрикам.
* Показано, какие токены лучше подходят для генерации длинных планов, а какие — для точного позиционирования робота.
* Авторы указывают белые пятна: нет единых бенчмарков, слабо изучена переформатируемость токенов, мало работ по переносу сим➜реал.

Action token — это компромисс между интерпретацией человеком и контролем робота. Разработчикам стоит подбирать тип токена под задачу, а не «брать первый попавшийся». Внедрение предложенной классификации упростит сравнение новых моделей и ускорит путь к универсальным агентам. 🔥

https://huggingface.co/papers/2507.01925

BY Big Data AI