Институт AIRI

Новый метод TLG позволяет выявлять нелепые изображения с точностью до 87,5% 🔖

Команда исследователей из группы «Вычислительная семантика» AIRI, Сколтеха, MWS AI и МФТИ представила инновационный подход к одной из сложных задач компьютерного зрения — определению того, нарушает ли изображение здравый смысл.

Люди мгновенно замечают нелепости на картинках, например, рыцаря с мобильным телефоном или пингвина на велосипеде. Искусственному интеллекту это даётся гораздо сложнее: существующие системы распознают объекты, но не всегда понимают их совместимость в рамках здравого смысла.

Новый метод TLG (Through the Looking Glass, «Сквозь зеркало» или «В Зазеркалье» — это отсылка к повести «Алиса в Зазеркалье» Льюиса Кэрролла) предлагает не анализировать само изображение, а исследовать, как большие мультимодальные языково-визуальные модели описывают картинку текстом. Противоречия и галлюцинации в таких описаниях указывают на «странность» изображения.

Для тестов учёные создали масштабный датасет WEIRD — 824 изображения с нелепыми ситуациями, значительно расширивший ранее использовавшийся в сообществе датасет WHOOPS!. Метод TLG превосходит более сложные и ресурсоёмкие системы, достигая до 87,5% точности.

Научная статья | Хабр | Известия

Please open Telegram to view this post

VIEW IN TELEGRAM

❤52

www.tgoop.com/airi_research_institute/1027

8.76K viewsOct 10 at 10:52

Новый метод TLG позволяет выявлять нелепые изображения с точностью до 87,5% 🔖

Команда исследователей из группы «Вычислительная семантика» AIRI, Сколтеха, MWS AI и МФТИ представила инновационный подход к одной из сложных задач компьютерного зрения — определению того, нарушает ли изображение здравый смысл.

Люди мгновенно замечают нелепости на картинках, например, рыцаря с мобильным телефоном или пингвина на велосипеде. Искусственному интеллекту это даётся гораздо сложнее: существующие системы распознают объекты, но не всегда понимают их совместимость в рамках здравого смысла.

Новый метод TLG (Through the Looking Glass, «Сквозь зеркало» или «В Зазеркалье» — это отсылка к повести «Алиса в Зазеркалье» Льюиса Кэрролла) предлагает не анализировать само изображение, а исследовать, как большие мультимодальные языково-визуальные модели описывают картинку текстом. Противоречия и галлюцинации в таких описаниях указывают на «странность» изображения.

Для тестов учёные создали масштабный датасет WEIRD — 824 изображения с нелепыми ситуациями, значительно расширивший ранее использовавшийся в сообществе датасет WHOOPS!. Метод TLG превосходит более сложные и ресурсоёмкие системы, достигая до 87,5% точности.

Научная статья | Хабр | Известия