tgoop.com/jdata_blog/339
Last Update:
📈 Привет, друзья!
Сейчас работаю над обзором по explainable AI для мультимодальных моделей (задачка со звездочкой, не скажу, что закончу скоро, но стараюсь!)
Наткнулась на любопытную статью: Mapping the Mind of an Instruction-based Image Editing using SMILE.
Суть: товарищи представляют интерпретируемость на основе локальной модели — метод LIME на максималках — для построения тепловой карты влияния текстовых элементов на созданное изображение.
Что делают:
* Разбивают текстовую команду на ключевые слова.
* Генерируют изображения, изменяя команды, чтобы выявить влияние каждого слова.
* Создают визуальные тепловые карты (heatmaps), отображающие вес каждого слова в процессе редактирования изображения.
Фишка SMILE: вместо простого расстояния (например, косинусного, как у классического LIME) используют расстояние Васерштейна (и дотягивают к нему модель, обученную на извлечение признаков).
Что примечательно: LIME, в контексте XAI — пионер, он был предложен 2016 году, в статье ""Why Should I Trust You?" Explaining the Predictions of Any Classifier". Уникальность LIME — в качестве результата не коэффициенты влияния или графики, а суррогатная модель, объясняющая, как работает чёрный ящик.
С того времени LIME активно адаптировали: есть версии для временных рядов, графов, звука — карточки из статьи прикрепляю к посту. И вот мы дошли до генерации. Ну, красота.
На что хочу обратить внимание? Классические методы вроде LIME всё ещё мощный инструмент. Их потенциал огромный, особенно если адаптировать под задачи! Прямо рекомендую добавить их в свой XAI-инструментарий.
Меня это прям восхищает.
Не запланировано овладела большим количеством свободного времени и сейчас делаю ещё два материала. Первый — открытый (бесплатный) курс на степике по интерпретируемым моделям. Большой курс у меня уже есть (и он тоже растет), решила сделать поменьше)
Второй — обзорный курс на механистическую интерпретируемость. Тоже будет открытым.
Как только доделаю, будут ссылки! 😌
До встречи!
Ваш, Дата-автор!
BY Data Blog
Share with your friend now:
tgoop.com/jdata_blog/339