AI для Всех

1:20

Media is too big

VIEW IN TELEGRAM

Meta представляет SAM 2: Новый уровень в сегментации объектов на изображениях и видео

Компания Meta анонсировала запуск SAM 2, обновлённой версии своей модели Segment Anything (SAM). Эта новинка теперь поддерживает сегментацию объектов как на статичных изображениях, так и в видео.

Специально для вас, сделал нейродубляж их анонса, так что смотрите со звуком 🔊

SAM-2 обуспечивает высокое качество сегментации в режиме реального времени.

Ключевые особенности и инновации

1. Универсальная сегментация:
SAM 2 способен сегментировать объекты как в изображениях, так и в видео, включая те, которые не были заранее известны модели. Это позволяет работать с ранее невиданными визуальными данными без дополнительного обучения.

2. Производительность в реальном времени:
Модель обрабатывает видео со скоростью около 44 кадров в секунду и выполняет аннотацию в 8,4 раза быстрее по сравнению с предыдущей версией SAM.

3. Новые механизмы памяти:
SAM 2 включает продвинутую систему памяти для управления информацией о кадрах видео. Система состоит из кодировщика памяти, банка памяти и модуля внимания, что обеспечивает точность сегментации объектов на протяжении всего видео.

4. Сегментация по промпту:
Модель расширяет задачи сегментации изображений на формат видео. Пользователи могут задавать точки, боксы или маски в любом кадре видео для определения целевого объекта. SAM 2 создаёт пространственно-временную маску, или "маскет", для отслеживания объекта на протяжении всего видео.

5. Обработка окклюзий:
В SAM 2 добавлена специальная "голова окклюзии", которая помогает модели определять, когда объект скрыт из-за окклюзии или других факторов, улучшая сегментацию даже в случае временного исчезновения объекта.

Методология

Архитектура SAM 2 построена на базе SAM, но с добавлением функций для работы с видео данными. Модель рассматривает изображения как одноименные видео и обрабатывает кадры последовательно. Такой подход позволяет SAM 2 достигать точной сегментации, используя память о предыдущих кадрах и взаимодействиях.

📚 Статья
🙈 Демо
👌 Блог-пост

🔥39❤7👍6🤩1

www.tgoop.com/nn_for_science/2107

5.49K viewsArtemii, edited  Jul 30, 2024 at 00:12

Meta представляет SAM 2: Новый уровень в сегментации объектов на изображениях и видео

Компания Meta анонсировала запуск SAM 2, обновлённой версии своей модели Segment Anything (SAM). Эта новинка теперь поддерживает сегментацию объектов как на статичных изображениях, так и в видео.

Специально для вас, сделал нейродубляж их анонса, так что смотрите со звуком 🔊

SAM-2 обуспечивает высокое качество сегментации в режиме реального времени.

Ключевые особенности и инновации

1. Универсальная сегментация:
SAM 2 способен сегментировать объекты как в изображениях, так и в видео, включая те, которые не были заранее известны модели. Это позволяет работать с ранее невиданными визуальными данными без дополнительного обучения.

2. Производительность в реальном времени:
Модель обрабатывает видео со скоростью около 44 кадров в секунду и выполняет аннотацию в 8,4 раза быстрее по сравнению с предыдущей версией SAM.

3. Новые механизмы памяти:
SAM 2 включает продвинутую систему памяти для управления информацией о кадрах видео. Система состоит из кодировщика памяти, банка памяти и модуля внимания, что обеспечивает точность сегментации объектов на протяжении всего видео.

4. Сегментация по промпту:
Модель расширяет задачи сегментации изображений на формат видео. Пользователи могут задавать точки, боксы или маски в любом кадре видео для определения целевого объекта. SAM 2 создаёт пространственно-временную маску, или "маскет", для отслеживания объекта на протяжении всего видео.

5. Обработка окклюзий:
В SAM 2 добавлена специальная "голова окклюзии", которая помогает модели определять, когда объект скрыт из-за окклюзии или других факторов, улучшая сегментацию даже в случае временного исчезновения объекта.

Методология

Архитектура SAM 2 построена на базе SAM, но с добавлением функций для работы с видео данными. Модель рассматривает изображения как одноименные видео и обрабатывает кадры последовательно. Такой подход позволяет SAM 2 достигать точной сегментации, используя память о предыдущих кадрах и взаимодействиях.

📚 Статья
🙈 Демо
👌 Блог-пост

BY AI для Всех