🤖 Датаист

От языковых моделей к моделям мира

Большие языковые модели (LLMs) впечатляют умением работать с текстом, но они не имеют реального понятия о трёхмерном мире, физике и логике пространства. Модели мира (World Models, WMs или LWMs — Large World Models) обещают сделать шаг вперед от текстового понимания к пониманию среды, наделяя ИИ способностью «видеть», «чувствовать» и «предсказывать» поведение объектов и агентов.

Если языковые модели генерируют последовательности слов, то модели мира стремятся к глубинному моделированию реальности. Они берут визуальные, аудио- и прочие сенсорные данные (включая данные от камер, IoT-сенсоров, микрофонов), чтобы создать внутреннюю симуляцию мира: с физическими законами, динамикой движения, взаимодействиями объектов, NPC и людей.

Одним из примеров таких систем стала Genie 2 от Google DeepMind — фундаментальная модель мира, способная на основе одного изображения создать интерактивное 3D-пространство, в котором можно управлять персонажем и выполнять различные действия. Genie 2 — авторегрессионная диффузионная модель, предсказывающая каждый следующий «кадр состояния» так же, как LLM предсказывает следующий токен. Но в отличие от чисто текстовых моделей, Genie 2 учитывает физику и трехмерность, позволяя агентам взаимодействовать со сценой. Это не просто генерация пикселей, а предсказание будущих состояний среды исходя из действий, что критически важно для обучения агентов.

Другой пример - Sora от OpenAI, генерирующая до минуты реалистичного видео, моделируя динамику сцены, перспективу, свет, тени и взаимодействия с объектами. Подобно тому как языковые модели пользуются текстовыми токенами, модели мира работают с «патчами» — фрагментами визуальной информации. Sora сжимает входное видео в латентное пространство и разрезает его на патчи, которые затем обрабатываются трансформером. Такой подход облегчает масштабируемое обучение на огромных наборах видеоданных.

Genie 2 и Sora способны «запоминать» объекты, моделировать эффекты гравитации и инерции, а также обеспечивать длительную согласованность сцен. В созданных ими виртуальных мирах персонажи стараются не терять форму, предметы не телепортироваться без причины — всё выглядит логичным и правдоподобным.

Помимо генерации видео, Sora может симулировать поведение внутри игры Minecraft, включая управление агентом. А Genie 2 позволяет создавать бесконечно разнообразные игровые миры, где поведение объектов и персонажей не задано вручную, а выучено моделью. Агенту можно дать задание и наблюдать, как он осваивает новые навыки, решает задачи и самостоятельно адаптируется к непредсказуемым условиям.

Все это ведет к тому, что роботы на базе моделей мира смогут лучше понимать пространство, предсказывать последствия своих действий и безопаснее взаимодействовать с реальным окружением.

Однако перед нами встают более глубокие вопросы: как интерпретировать решения агентов на базе моделей мира, как избежать опасных сценариев, если модель «догадается» нарушить правила? Такие случаи пока редки и напоминают курьёзы, но уже показывают, что серьезная работа над безопасностью только начинается

Конечно, обучение на огромных видеодатасетах требует колоссальных вычислительных мощностей, куда больше, чем для LLM. Также для обучения нужно много разнообразных данных. Но результат того стоит, ведь одно из перспективных направлений применения моделей мира - симуляция физических законов для развития науки и технологий. Например, использование химических элементов как «слов» в моделях мира позволяет ИИ предсказывать новые материалы или лекарства.

Модели мира — это переход от «умных слов» к «умным действиям» и пониманию пространства. Мы подходим к эпохе, когда ИИ будет предсказывать физические процессы, понимать причинно-следственные связи и даже проявлять «здравый смысл». Хотя модели мира только начали развиваться, но именно они способны заложить фундамент для ИИ, который будет не просто приятным собеседником в чате, а полноценным субъектом в нашем сложном реальном мире.

#технологии

Google DeepMind

Genie 2: A large-scale foundation world model

Generating unlimited diverse training environments for future general agents

www.tgoop.com/andre_dataist/143

2.1K viewsedited  Dec 13, 2024 at 14:26

От языковых моделей к моделям мира

Большие языковые модели (LLMs) впечатляют умением работать с текстом, но они не имеют реального понятия о трёхмерном мире, физике и логике пространства. Модели мира (World Models, WMs или LWMs — Large World Models) обещают сделать шаг вперед от текстового понимания к пониманию среды, наделяя ИИ способностью «видеть», «чувствовать» и «предсказывать» поведение объектов и агентов.

Если языковые модели генерируют последовательности слов, то модели мира стремятся к глубинному моделированию реальности. Они берут визуальные, аудио- и прочие сенсорные данные (включая данные от камер, IoT-сенсоров, микрофонов), чтобы создать внутреннюю симуляцию мира: с физическими законами, динамикой движения, взаимодействиями объектов, NPC и людей.

Одним из примеров таких систем стала Genie 2 от Google DeepMind — фундаментальная модель мира, способная на основе одного изображения создать интерактивное 3D-пространство, в котором можно управлять персонажем и выполнять различные действия. Genie 2 — авторегрессионная диффузионная модель, предсказывающая каждый следующий «кадр состояния» так же, как LLM предсказывает следующий токен. Но в отличие от чисто текстовых моделей, Genie 2 учитывает физику и трехмерность, позволяя агентам взаимодействовать со сценой. Это не просто генерация пикселей, а предсказание будущих состояний среды исходя из действий, что критически важно для обучения агентов.

Другой пример - Sora от OpenAI, генерирующая до минуты реалистичного видео, моделируя динамику сцены, перспективу, свет, тени и взаимодействия с объектами. Подобно тому как языковые модели пользуются текстовыми токенами, модели мира работают с «патчами» — фрагментами визуальной информации. Sora сжимает входное видео в латентное пространство и разрезает его на патчи, которые затем обрабатываются трансформером. Такой подход облегчает масштабируемое обучение на огромных наборах видеоданных.

Genie 2 и Sora способны «запоминать» объекты, моделировать эффекты гравитации и инерции, а также обеспечивать длительную согласованность сцен. В созданных ими виртуальных мирах персонажи стараются не терять форму, предметы не телепортироваться без причины — всё выглядит логичным и правдоподобным.

Помимо генерации видео, Sora может симулировать поведение внутри игры Minecraft, включая управление агентом. А Genie 2 позволяет создавать бесконечно разнообразные игровые миры, где поведение объектов и персонажей не задано вручную, а выучено моделью. Агенту можно дать задание и наблюдать, как он осваивает новые навыки, решает задачи и самостоятельно адаптируется к непредсказуемым условиям.

Все это ведет к тому, что роботы на базе моделей мира смогут лучше понимать пространство, предсказывать последствия своих действий и безопаснее взаимодействовать с реальным окружением.

Однако перед нами встают более глубокие вопросы: как интерпретировать решения агентов на базе моделей мира, как избежать опасных сценариев, если модель «догадается» нарушить правила? Такие случаи пока редки и напоминают курьёзы, но уже показывают, что серьезная работа над безопасностью только начинается

Конечно, обучение на огромных видеодатасетах требует колоссальных вычислительных мощностей, куда больше, чем для LLM. Также для обучения нужно много разнообразных данных. Но результат того стоит, ведь одно из перспективных направлений применения моделей мира - симуляция физических законов для развития науки и технологий. Например, использование химических элементов как «слов» в моделях мира позволяет ИИ предсказывать новые материалы или лекарства.

Модели мира — это переход от «умных слов» к «умным действиям» и пониманию пространства. Мы подходим к эпохе, когда ИИ будет предсказывать физические процессы, понимать причинно-следственные связи и даже проявлять «здравый смысл». Хотя модели мира только начали развиваться, но именно они способны заложить фундамент для ИИ, который будет не просто приятным собеседником в чате, а полноценным субъектом в нашем сложном реальном мире.

#технологии

BY 🤖 Датаист