М
одель π0 — первая языковая модель (GPT) для роботов
Модель разработала компания
Physical Intelligence, которую создали выходцы из Гугла.
π0 — универсальная базовая модель, которая дает управлять различными типами роботов с помощью текстовых инструкций и давать команды с частотой до 50 раз в секунду. Она понимает команды и просто голосом, и текстовыми командами через бота. Также она различает картинки и видео с камер.
⚫️Не полностью открытая, но использует открытые наборы данных для обучения. В частности, 91% данных, используемых для обучения, поступает из открытых источников, таких как OXE, Bridge v2 и DROID.
⚫️Использует подход MoE, который включает два элемента: один для обработки визуальных и текстовых данных, другой — для выполнения действий в робототехнике.
⚫️Общая архитектура модели включает 3.3 млрд параметров, что позволяет ей управлять роботами с частотой до 50 Гц, что достаточно для выполнения сложных задач.
⚫️Роботы на π0 уже умеют выполнять сложные многоэтапные задачи — например, складывать картонные коробки или уборка со стола с сортировкой предметов
Модель — прорывная технология, на которой можно обучать сервисных роботов.