Google представил ObjectDrop - реалистичное удаление объектов с учетом законов реального мира.

📝 Paper: https://huggingface.co/papers/2403.18818

#ai #photo

—————————
Мысли Рвачева
—————————

https://www.ai21.com/blog/announcing-jamba

Вышла первая большая языковая модель — гибрид Mamba и Трансформер

Детали:
- MoE with 52B parameters.
- Active parameters: 12B.
- 256K Context length.

🥳 Kandinsky 3.1 🥳

Вчера прошёл ровно год с момента релиза модели Kandinsky 2.1 — именно эта модель принесла известность нашей исследовательской группе Sber AI Research и дала толчок развитию всей линейки моделей Kandinsky.

В честь этой даты мы представили модель Kandinsky 3.1 — идейное продолжение модели Kandinsky 3.0, которую мы улучшили и обогатили набором различных полезных функций и режимов. Все они предоставляют пользователям больше возможностей полноценно использовать всю силу нашей новой модели. Это:

💡значительное ускорение модели, которое было достигнуто за счёт дистилляции по числу шагов диффузии (версия Kandinsky 3.0 Flash);
💡улучшение промпта с помощью языковой модели (Mistral-7B);
💡 IP-Adapter, который позволяет дополнительно (помимо текста) обуславливаться на изображение; за счёт этого удалось вернуть режимы смешивания изображений, изображения и текста, которые были в версиях Kandinsky 2.X, но работали там за счёт наличия в этих моделях специального блока image prior;
💡ControlNet — механика, реализующая способы дополнительного контроля за генерацией на основе canny edges, depth maps и т. д.;
💡Inpainting — модификация основной модели, решающая задачу дорисования по тексту недостающих частей изображения (так, в новой версии значительно улучшилась работа с отдельными объектами разных размеров);
💡SuperRes — специальная диффузионная модель, повышающая разрешение изображения (так, в Kandinsky 3.1 теперь можно генерировать 4K изображения).

Полезные ссылки:
👉 Хабр
👉 Project Page
👉 GitHub

Пока что Kandinsky 3.1 доступен для ограниченного круга пользователей. Но в самое ближайшее время все смогут оценить новую версию в официальном боте Kandinsky, на сайте fusionbrain.ai и rudalle.ru (обязательно напишу об этом моменте отдельно).

@dendi_math_ai

Вот один из секретов успеха

Всем привет! Выкладываю вчерашную презентацию по теме "Генеративные аугментации в задачах компьютерного зрения"

Привет, друзья! 🌟

🧐 Вы когда-нибудь задумывались, как современные технологии справляются с такой сложной задачей, как детекция опасных летательных аппаратов в зоне аэропортов? 🛩️

🏆 В этом видео мы разберем задачу Small Object Detection (SOD) на примере обнаружения дронов, и узнаем, как команда «Физики и Лирики» из НКБТех победила на международном хакатоне «Лидеры Цифровой Трансформации 2024»!

🔬 Мы разработали модель для детекции летательных аппаратов, которая продемонстрировала впечатляющий прирост метрики mAP с 0.78 до 0.93. Команда использовала синтетические данные с помощью фреймворка собственной методики, автоматическую доразметку данных для улучшения результатов, а также кропотливый анализ сторонних датасетов. Мы увидим, как эти методы помогли преодолеть трудности работы с данными и детекцией мелких объектов.

📌 Не пропустите это увлекательное обсуждение и узнайте, как такие инновационные решения могут быть полезны для ваших проектов!

📹 Посмотреть ролик можно по ссылке.

nkbtech.ru

#readingclub #detection #yolo #realtime #drone

Решение задач в ML и не только

Наконец-то вышла запись моего рассказа о генеративных аугментациях. Это был долгий проект, в процессе которого я сталкивался с проблемами, для которых нет простых решений в интернете или готовых статей — приходилось самостоятельно во всё вникать 🙈. Мне кажется, это тот опыт, которым важно поделиться, чтобы ваш путь к решению таких задач стал на пару шагов короче.

Основная проблема, с которой я сталкивался

Главная трудность, с которой я постоянно сталкивался, — это непонимание того, что конкретно нужно делать. Вроде бы есть представление о конечном результате, но как выстроить к нему путь? Здесь я часто "застревал": ничего не получалось, ничего не работало, полное отсутствие идей. Что делать в таких ситуациях? Для себя я нашел несколько полезных приемов:

1️⃣ Спросить совета у других

Хотя у меня нет стабильной привычки обращаться за помощью, я очень ценю этот подход. Приведу пример: когда я только начинал работать с генеративными аугментациями, как и многие новички, я просто изучал все возможные статьи, не понимая, что из этого реально работает. В такой ситуации необходим опытный человек, который сможет направить вас в нужную сторону. Для меня это была созвон со стартапом KopiKat. За полчаса я осознал, что работает, а что нет, что стоит попробовать, а от чего лучше отказаться. Вот за это я ценю советы, они дают понимание, на создание которого могут уйти недели/месяцы/годы.

2️⃣ Отойти на пару дней и вернуться к задаче позже

Часто, когда мы сосредоточены на одной и той же задаче, теряется способность видеть общую картину — это как известная фраза: "Если у вас в руках молоток, всё вокруг кажется гвоздями". Из-за узкого фокуса мы не замечаем альтернативных решений или даже собственных ошибок. В таких случаях помогает отвлечься от задачи на несколько дней и потом вернуться к ней с "свежими" глазами. Почему это работает? Во время отдыха ваш мозг продолжает бессознательно обрабатывать информацию, что позволяет вам взглянуть на проблему с новой стороны. Для меня это открылось при чтении книги "Learning How to Learn" и на личном опыте — время проведенное за занятиями абсолютно другими делами возвращало меня к задаче со свежей головой!

3️⃣ Попробовать что-то необычное

Когда все идеи исчерпаны, иногда стоит пойти по неожиданному пути. Почему бы не попробовать соединить разные подходы? Может быть, комбинация LLM и RL сработает? Никто не знает заранее. Да, эксперименты могут оказаться неудачными, слишком сложными или неэффективными. Но каждая попытка обогащает ваш опыт. До работы с аугментациями я занимался дистилляцией данных — проект, где большинство экспериментов оказались неудачными. Можно было бы назвать это провалом, но именно тогда я осознал, насколько важны данные при обучении моделей. Неважно, какую модель вы обучаете — если данные хороши, всё сработает. Этот вывод стал основой для поиска новых методов улучшения данных, о которых я позже и сделал доклад по аугментациям.

Вместо заключения
Если у вас истории преодоления сложностей или прикольные приёмы про которые я не упомянул, напишите про них в комментарии. Мне интересно будет узнать, как каждый справляется с такими сложностями!