tgoop.com/nn_for_science/2272
Last Update:
Oasis - целая вселенная в модели- трансформере!
Встречаем Oasis - первую открытую игровую модель, работающую в реальном времени!
Это видеоигра полностью создаваемая ИИ "на лету". Oasis принимает ввод данных с клавиатуры пользователя и генерирует игровой процесс в реальном времени, включая физику, правила игры и графику. Вы можете передвигаться, прыгать, подбирать предметы, разбивать блоки и многое другое. И все это без игрового движка, только базовая модель! 🔮
Модель понимает сложные игровые механики, такие как строительство, физика освещения, управление инвентарем, понимание объектов и многое другое.
Oasis генерирует разнообразный набор состояний, локаций и объектов. Эта универсальность дает разработчикам уверенность в том, что модель можно будет адаптировать для создания различных новых карт, игр, функций и модификаций с минимальным дообучением.
Модель состоит из двух частей: пространственного автокодировщика и латентной диффузионной модели. Обе основаны на Трансформерах: автокодировщик основан на ViT, а диффузионная модель— на DiT. В отличие от последних моделей окружающего, таких как GameNGen и DIAMOND, разработчики выбрали трансформеры, чтобы обеспечить стабильное, предсказуемое масштабирование и полную совместимость с передовым оборудованием.
В отличие от двунаправленных моделей, таких как Sora, Oasis генерирует кадры авторегрессивно, что позволяет пользователям взаимодействовать с окружающим миром в реальном времени. 👾
Инновационное динамическое шумоподавление помогает модели поддерживать временную стабильность и минимизировать накопление ошибок, улучшая согласованность кадров. Это позволяет Oasis генерировать видео с частотой 20 кадров в секунду, что значительно превышает производительность современных генерационых моделей текст-видео.
Однако, чтобы сделать модель еще на порядок быстрее и сделать ее экономически эффективной для масштабирования, необходимо новое оборудование, так как сегодняшний пик видео разрешения это 360p на H100 GPUs. Oasis оптимизирован для Sohu, Transformer ASIC, разрабатываемого Etched. Sohu может масштабироваться до массивных моделей следующего поколения 100B+ в разрешении 4K.
Кроме того, сквозная архитектура Oasis делает ее чрезвычайно эффективной на Sohu, который может обслуживать >10x больше пользователей даже на моделях с параметрами 100B+ по сравнению с H100 GPU. 👀
📝 Etched блог
📜 Tech Report
📰 Decart блог
🕹️ Демо