Про генеративный дизайн в NSS Lab ИТМО
Открытие инструменты для генеративного дизайна (ГД) от NSS Lab (Natural System Simulation) ИТМО:
▫️ GEFEST (Generative Evolution For Encoded STructures)
▫️ GOLEM (Graph Optimization and Learning by Evolutionary Methods)
Пост на Хабре про открытые библиотеки ИТМО, включая GEFEST и GOLEM:
▫️ Open-source библиотеки от команд ИТМО: оптимизация графовых структур, генеративный дизайн, оптимизация гиперпараметров, 2023 (~7 мин.)
Публикации NSS Lab про ГД:
▫️ N.O. Starodubcev et al. — Generative Design of Physical Objects using Modular Framework, 2023 (19 стр., ~60 мин.)
▫️ G.V. Solovev et al. — AI Framework for Generative Design of Computational Experiments with Structures in Physical Environment, 2023 (8 стр., ~20 мин.)
▫️ G.V. Grigorev et al. — Single Red Blood Cell Hydrodynamic Traps Via the Generative Design, 2022 (10 стр., ~25 мин.)
▫️ N.O. Starodubcev, N.O. Nikitin, A.V. Kalyuzhnaya — Surrogate-Assisted Evolutionary Generative Design Of Breakwaters Using Deep Convolutional Networks, 2022 (8 стр., ~20 мин.)
▫️ N.O. Nikitin, I.S. Polonskaia, A.V. Kalyuzhnaya, A.V. Boukhanovsky — The multi-objective optimisation of breakwaters using evolutionary approach, 2021 (13 стр., ~20 мин.)
▫️ N.O. Nikitin et al. — Generative design of microfluidic channel geometry using evolutionary approach, 2021 (2 стр. ~7 мин.)
Ресурсы NSS Lab:
▫️ Телеграм канал: @NSS_group
▫️ Страница про команду, проекты и публикации: NSSLab→
Телеграм-чат Open-source сообщества ИТМО:
▫️ @itmo_opensource
Открытие инструменты для генеративного дизайна (ГД) от NSS Lab (Natural System Simulation) ИТМО:
▫️ GEFEST (Generative Evolution For Encoded STructures)
▫️ GOLEM (Graph Optimization and Learning by Evolutionary Methods)
Пост на Хабре про открытые библиотеки ИТМО, включая GEFEST и GOLEM:
▫️ Open-source библиотеки от команд ИТМО: оптимизация графовых структур, генеративный дизайн, оптимизация гиперпараметров, 2023 (~7 мин.)
Публикации NSS Lab про ГД:
▫️ N.O. Starodubcev et al. — Generative Design of Physical Objects using Modular Framework, 2023 (19 стр., ~60 мин.)
▫️ G.V. Solovev et al. — AI Framework for Generative Design of Computational Experiments with Structures in Physical Environment, 2023 (8 стр., ~20 мин.)
▫️ G.V. Grigorev et al. — Single Red Blood Cell Hydrodynamic Traps Via the Generative Design, 2022 (10 стр., ~25 мин.)
▫️ N.O. Starodubcev, N.O. Nikitin, A.V. Kalyuzhnaya — Surrogate-Assisted Evolutionary Generative Design Of Breakwaters Using Deep Convolutional Networks, 2022 (8 стр., ~20 мин.)
▫️ N.O. Nikitin, I.S. Polonskaia, A.V. Kalyuzhnaya, A.V. Boukhanovsky — The multi-objective optimisation of breakwaters using evolutionary approach, 2021 (13 стр., ~20 мин.)
▫️ N.O. Nikitin et al. — Generative design of microfluidic channel geometry using evolutionary approach, 2021 (2 стр. ~7 мин.)
Ресурсы NSS Lab:
▫️ Телеграм канал: @NSS_group
▫️ Страница про команду, проекты и публикации: NSSLab→
Телеграм-чат Open-source сообщества ИТМО:
▫️ @itmo_opensource
Опрос ИТМО
Кстати, Центр научной коммуникации Университета ИТМО проводит анализ профессионального сообщества DS/ML-специалистов в России. Несколько вопросов про лидеров рынка и мнений, а также про особенности коммуникации и распространения информации в нашей области. Можно просто заполнить анкету (займет 5-10 минут), а можно напроситься на более подробное интервью)
Ссылка на опрос→
Кстати, Центр научной коммуникации Университета ИТМО проводит анализ профессионального сообщества DS/ML-специалистов в России. Несколько вопросов про лидеров рынка и мнений, а также про особенности коммуникации и распространения информации в нашей области. Можно просто заполнить анкету (займет 5-10 минут), а можно напроситься на более подробное интервью)
Ссылка на опрос→
NoML — канал или чат
Напоминаю, что у нас есть и канал @noml_digest, и чат @noml_community. При этом есть смысл добавиться или в канал, или в чат, 95% информации дублируется и туда, и туда. Полезные ссылки от других участников сообщества из чата рано или поздно доезжают до канала.
А еще напоминаю, что записи мы сейчас выкладываем и на YouTube, и на Rutube (когда-нибудь дойдём до VK и Дзена).
Ну и еще напомню, что есть база знаний в Notion (можно запомнить короткий адрес noml.club). Вся информация по нашим мероприятиям там (только сейчас оно как-то не очень открывается, видимо кто-то что-то заблокировал).
P.S.: На этой неделе семинаров или созвонов нет, продолжим на следующей.
Напоминаю, что у нас есть и канал @noml_digest, и чат @noml_community. При этом есть смысл добавиться или в канал, или в чат, 95% информации дублируется и туда, и туда. Полезные ссылки от других участников сообщества из чата рано или поздно доезжают до канала.
А еще напоминаю, что записи мы сейчас выкладываем и на YouTube, и на Rutube (когда-нибудь дойдём до VK и Дзена).
Ну и еще напомню, что есть база знаний в Notion (можно запомнить короткий адрес noml.club). Вся информация по нашим мероприятиям там (только сейчас оно как-то не очень открывается, видимо кто-то что-то заблокировал).
P.S.: На этой неделе семинаров или созвонов нет, продолжим на следующей.
Два доклада коллег из GlowByte AA
Чтобы вы на этой неделе не скучали, вот записи двух недавних докладов коллег из команды Advanced Analytics GlowByte.
17 мая на конференция МТС True Tech Day Полина Окунева выступила c докладом про один интересный кейс применения причинно-следственного анализа:
▫️ Полина Окунева - Causal Inference на примере оценки эффекта от нетаргетированной кампании (~25 минут)
31 мая в рамках DataFest 2024 на секции GeoML Вадим Порватов рассказал про применение графовых нейронных сетей в задаче предсказания времени прибытия:
▫️ Вадим Порватов - Предсказание времени прибытия наземного транспорта (~20 минут)
Чтобы вы на этой неделе не скучали, вот записи двух недавних докладов коллег из команды Advanced Analytics GlowByte.
17 мая на конференция МТС True Tech Day Полина Окунева выступила c докладом про один интересный кейс применения причинно-следственного анализа:
▫️ Полина Окунева - Causal Inference на примере оценки эффекта от нетаргетированной кампании (~25 минут)
31 мая в рамках DataFest 2024 на секции GeoML Вадим Порватов рассказал про применение графовых нейронных сетей в задаче предсказания времени прибытия:
▫️ Вадим Порватов - Предсказание времени прибытия наземного транспорта (~20 минут)
Про магистратуру ВМК МГУ по направлениям ИБ
Мы тут с вами периодически поднимаем темы федеративного обучения, конфиденциальных вычислений и в целом информационной безопасности в области анализа данных. Вопросы на стыке ИБ и ИИ безусловно продолжают набирать обороты.
На ВМК МГУ есть несколько программ магистратуры, и по ИБ, и на стыке ИБ и ИИ:
▫️ "Информационная безопасность компьютерных систем”
▫️ "Искусственный интеллект в кибербезопасности"
▫️ "Кибербезопасность" (совместная магистратура ВМК МГУ и Сбера)
До 20 июля идет приём документов на поступление. Если вы вдруг еще не решили, какой области себя посвятить после бакалавриата, или уже давно имеете высшее образование и как раз задумываетесь о том, чтобы углубить и систематизировать свои познания и опыт, то рекомендую подумать про тему ИБ.
Программы обучения магистратур ВМК покрывают следующие направления:
▫️ современные методы защиты информации и криптографии, включая постквантовую криптографию;
▫️ современные методы машинного обучения и анализа данных, а также принципы разработки систем принятия решений на базе ML/AI;
▫️ принципы и практики оценки угроз, поиска уязвимостей и анализа защищенности информационных систем;
▫️ подходы защиты систем машинного обучения и искусственного интеллекта от всевозможных атак, методы обеспечения надежности и робастности моделей ML;
▫️ практики применения методов ML/AI в задачах обеспечения информационной безопасности IT систем.
Поступить могут все, у кого есть диплом бакалавра или "старого" 5-летнего специалиста, а также знания по математике и информатике.
▫️ Приём документов продлится до 20 июля
▫️ Подать документы можно дистанционно→
▫️ Страница приёмной комиссии ВМК→
▫️ По всем вопросам можно обратиться к @katestroeva
Мы тут с вами периодически поднимаем темы федеративного обучения, конфиденциальных вычислений и в целом информационной безопасности в области анализа данных. Вопросы на стыке ИБ и ИИ безусловно продолжают набирать обороты.
На ВМК МГУ есть несколько программ магистратуры, и по ИБ, и на стыке ИБ и ИИ:
▫️ "Информационная безопасность компьютерных систем”
▫️ "Искусственный интеллект в кибербезопасности"
▫️ "Кибербезопасность" (совместная магистратура ВМК МГУ и Сбера)
До 20 июля идет приём документов на поступление. Если вы вдруг еще не решили, какой области себя посвятить после бакалавриата, или уже давно имеете высшее образование и как раз задумываетесь о том, чтобы углубить и систематизировать свои познания и опыт, то рекомендую подумать про тему ИБ.
Программы обучения магистратур ВМК покрывают следующие направления:
▫️ современные методы защиты информации и криптографии, включая постквантовую криптографию;
▫️ современные методы машинного обучения и анализа данных, а также принципы разработки систем принятия решений на базе ML/AI;
▫️ принципы и практики оценки угроз, поиска уязвимостей и анализа защищенности информационных систем;
▫️ подходы защиты систем машинного обучения и искусственного интеллекта от всевозможных атак, методы обеспечения надежности и робастности моделей ML;
▫️ практики применения методов ML/AI в задачах обеспечения информационной безопасности IT систем.
Поступить могут все, у кого есть диплом бакалавра или "старого" 5-летнего специалиста, а также знания по математике и информатике.
▫️ Приём документов продлится до 20 июля
▫️ Подать документы можно дистанционно→
▫️ Страница приёмной комиссии ВМК→
▫️ По всем вопросам можно обратиться к @katestroeva
Семинар про бандитов с чем-то
▫️ 17 июля (среда), 17:00 МСК
▫️ Подключение→
Выступает: Юрий Дорн, руководитель научной группы "Онлайн-оптимизация и приложения" и образовательной программы AI Masters Института ИИ МГУ, с.н.с. МГУ/МФТИ, преподаватель ШАД
Тема: Bandits with something
Аннотация
Этот рассказ будет посвящён нестандартным, но полезным и красивым постановкам задачи о многоруких бандитах. В частности, бандитам с бюджетами (bandits with knapsacks) и бандитам с тяжелыми хвостами (bandits with heavy tails). Это два небольших сюжета, каждый из которых полезен в своей области.
При обсуждении бандитов с бюджетами мы рассмотрим красивый трюк с аппроксимацией бандита через ЛП и матричные игры. При обсуждении алгоритмов для бандитов с тяжелыми хвостами мы затронем свежие результаты из стохастической оптимизации.
▫️ 17 июля (среда), 17:00 МСК
▫️ Подключение→
Выступает: Юрий Дорн, руководитель научной группы "Онлайн-оптимизация и приложения" и образовательной программы AI Masters Института ИИ МГУ, с.н.с. МГУ/МФТИ, преподаватель ШАД
Тема: Bandits with something
Аннотация
Этот рассказ будет посвящён нестандартным, но полезным и красивым постановкам задачи о многоруких бандитах. В частности, бандитам с бюджетами (bandits with knapsacks) и бандитам с тяжелыми хвостами (bandits with heavy tails). Это два небольших сюжета, каждый из которых полезен в своей области.
При обсуждении бандитов с бюджетами мы рассмотрим красивый трюк с аппроксимацией бандита через ЛП и матричные игры. При обсуждении алгоритмов для бандитов с тяжелыми хвостами мы затронем свежие результаты из стохастической оптимизации.
Запись семинара
Юрий Дорн (МГУ, МФТИ, ШАД) — Bandits with something: бандиты с бюджетами (bandits with knapsacks) и бандиты с тяжелыми хвостами (bandits with heavy tails)
▫️ YouTube, Дзен, RuTube (1 час 30 минут)
▫️ Презентация в базе знаний→
Юрий Дорн (МГУ, МФТИ, ШАД) — Bandits with something: бандиты с бюджетами (bandits with knapsacks) и бандиты с тяжелыми хвостами (bandits with heavy tails)
▫️ YouTube, Дзен, RuTube (1 час 30 минут)
▫️ Презентация в базе знаний→
Про GNN и GDL
Недавно снова наткнулся на работы вот этих ребят в области графов и так называемого Geometric Deep Learning.
Графовые нейронные сети (GNN)
▫️ Короткое введение в современный взгляд на GNN с обзором работ: P. Veličković — Everything is Connected: Graph Neural Networks, 2023 (~15 минут)
▫️ Обзор темы в виде лекции: P. Veličković — Theoretical Foundations of Graph Neural Networks, 2021 (~1 час 10 минут)
▫️ Или более подробная версия в виде 3-х лекций: P. Veličković — Graph Neural Networks: Geometric, Structural and Algorithmic Perspectives (part 1, part 2, part 3), 2022 (~2 часа 40 минут)
▫️ Также снова хочется вспомнить статью про приложение экспандеров к GNN (больше по теме было тут и тут): A. Deac, M. Lackenby, P. Veličković — Expander Graph Propagation, 2022 (~35 минут)
Геометрическое глубокое обучение (GDL)
Geometric DL — это аналог Эрлангенской программы для нейронных сетей;) То есть взгляд на область с точки зрения теории групп, категорий и прочей алгебры.
▫️ По этой теме есть почти книга: M.M. Bronstein, J. Bruna, T. Cohen, P. Veličković — Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges, 2021 (~125 стр.)
▫️ Можно посмотреть вводно-обзорную лекцию (как раз в Эрлангенском университете): P. Veličković — Geometric Deep Learning, 2021 (~1 час 15 минут)
▫️ Про теорию категорий для DL можно почитать тут: B. Gavranović et al. — Categorical Deep Learning: An Algebraic Theory of Architectures, 2024 (~35 минут)
▫️ Или посмотреть 2 лекции: P. Veličković — Categorical Deep Learning (part 1, part 2), 2024 (~1 час 20 минут)
▫️ Больше информации про GDL (статьи, курс, другие лекции, блог …) можно найти на ресурсе geometricdeeplearning.com
В общем, если хотите заниматься нейронными сетями, учите нормальную алгебру;)
Недавно снова наткнулся на работы вот этих ребят в области графов и так называемого Geometric Deep Learning.
Графовые нейронные сети (GNN)
▫️ Короткое введение в современный взгляд на GNN с обзором работ: P. Veličković — Everything is Connected: Graph Neural Networks, 2023 (~15 минут)
▫️ Обзор темы в виде лекции: P. Veličković — Theoretical Foundations of Graph Neural Networks, 2021 (~1 час 10 минут)
▫️ Или более подробная версия в виде 3-х лекций: P. Veličković — Graph Neural Networks: Geometric, Structural and Algorithmic Perspectives (part 1, part 2, part 3), 2022 (~2 часа 40 минут)
▫️ Также снова хочется вспомнить статью про приложение экспандеров к GNN (больше по теме было тут и тут): A. Deac, M. Lackenby, P. Veličković — Expander Graph Propagation, 2022 (~35 минут)
Геометрическое глубокое обучение (GDL)
Geometric DL — это аналог Эрлангенской программы для нейронных сетей;) То есть взгляд на область с точки зрения теории групп, категорий и прочей алгебры.
▫️ По этой теме есть почти книга: M.M. Bronstein, J. Bruna, T. Cohen, P. Veličković — Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges, 2021 (~125 стр.)
▫️ Можно посмотреть вводно-обзорную лекцию (как раз в Эрлангенском университете): P. Veličković — Geometric Deep Learning, 2021 (~1 час 15 минут)
▫️ Про теорию категорий для DL можно почитать тут: B. Gavranović et al. — Categorical Deep Learning: An Algebraic Theory of Architectures, 2024 (~35 минут)
▫️ Или посмотреть 2 лекции: P. Veličković — Categorical Deep Learning (part 1, part 2), 2024 (~1 час 20 минут)
▫️ Больше информации про GDL (статьи, курс, другие лекции, блог …) можно найти на ресурсе geometricdeeplearning.com
В общем, если хотите заниматься нейронными сетями, учите нормальную алгебру;)
Семинар про FL в медицине
▫️ 24 июля (среда), 17:00 МСК
▫️ Подключение→
Выступают: Евгений Попов (Yandex Cloud), Никита Лазарев (ИСП РАН), Юрий Маркин (ИСП РАН)
Тема: Практический опыт применения FL в медицине на примере обучения модели по классификации ЭКГ-синдромов
Аннотация
На семинаре рассмотрим следующие вопросы:
▫️ Федеративное обучение (FL): основные классы решаемых задач, возможности и ограничения, обзор основных алгоритмов агрегации в FL;
▫️ Предпосылки пилота для Сеченовского Университета, особенности предметной области при обучении моделей классификации ЭКГ-синдромов;
▫️ Архитектура FL-фреймворка NVFlare, особенности настройки инфраструктуры для FL, процесс разработки FL моделей с помощью NVFlare;
▫️ Эксперимент с обучением FL модели для классификации ЭКГ, основные результаты, дальнейшие планы.
▫️ 24 июля (среда), 17:00 МСК
▫️ Подключение→
Выступают: Евгений Попов (Yandex Cloud), Никита Лазарев (ИСП РАН), Юрий Маркин (ИСП РАН)
Тема: Практический опыт применения FL в медицине на примере обучения модели по классификации ЭКГ-синдромов
Аннотация
На семинаре рассмотрим следующие вопросы:
▫️ Федеративное обучение (FL): основные классы решаемых задач, возможности и ограничения, обзор основных алгоритмов агрегации в FL;
▫️ Предпосылки пилота для Сеченовского Университета, особенности предметной области при обучении моделей классификации ЭКГ-синдромов;
▫️ Архитектура FL-фреймворка NVFlare, особенности настройки инфраструктуры для FL, процесс разработки FL моделей с помощью NVFlare;
▫️ Эксперимент с обучением FL модели для классификации ЭКГ, основные результаты, дальнейшие планы.
Запись семинара
Евгений Попов (Yandex Cloud), Никита Лазарев (ИСП РАН), Юрий Маркин (ИСП РАН) — Практический опыт применения FL в медицине на примере обучения модели по классификации ЭКГ-синдромов
▫️ YouTube, Дзен, RuTube (1 час 35 минут)
▫️ Презентация в базе знаний→
Евгений Попов (Yandex Cloud), Никита Лазарев (ИСП РАН), Юрий Маркин (ИСП РАН) — Практический опыт применения FL в медицине на примере обучения модели по классификации ЭКГ-синдромов
▫️ YouTube, Дзен, RuTube (1 час 35 минут)
▫️ Презентация в базе знаний→
Семинар про импульсные нейросети
▫️ 31 июля (среда), 17:00 МСК
▫️ Подключение→
Выступает: Ишан Нобатов (МГТУ, GlowByte)
Тема: Импульсные нейросети и метод обучения STDP.
Аннотация
Нейронные сети второго поколения, несмотря на впечатляющие результаты, сталкиваются с проблемами масштабируемости и энергопотребления, которые ограничивают их применение. Импульсные сети предлагают решение этих проблем благодаря существенно меньшему энергопотреблению при использовании нейроморфных чипов, что открывает путь к развертыванию более мощных моделей ИИ на устройствах с ограниченным энергопотреблением. На семинаре рассмотрим метод импульсного обучения STDP и несколько значимых моделей импульсных нейросетей, реализующих этот метод обучения.
▫️ 31 июля (среда), 17:00 МСК
▫️ Подключение→
Выступает: Ишан Нобатов (МГТУ, GlowByte)
Тема: Импульсные нейросети и метод обучения STDP.
Аннотация
Нейронные сети второго поколения, несмотря на впечатляющие результаты, сталкиваются с проблемами масштабируемости и энергопотребления, которые ограничивают их применение. Импульсные сети предлагают решение этих проблем благодаря существенно меньшему энергопотреблению при использовании нейроморфных чипов, что открывает путь к развертыванию более мощных моделей ИИ на устройствах с ограниченным энергопотреблением. На семинаре рассмотрим метод импульсного обучения STDP и несколько значимых моделей импульсных нейросетей, реализующих этот метод обучения.
Запись семинара
Ишан Нобатов (МГТУ, GlowByte) — Импульсные нейросети и метод обучения STDP
▫️ YouTube, Дзен (1 час 5 минут)
▫️ Презентация в базе знаний→
P.S.: RuTube сломался, видимо кто-то что-то перепутал и замедлил не тот tube)
P.P.S.: В августе у нас перерыв, мероприятия NoML продолжим в сентябре.
Ишан Нобатов (МГТУ, GlowByte) — Импульсные нейросети и метод обучения STDP
▫️ YouTube, Дзен (1 час 5 минут)
▫️ Презентация в базе знаний→
P.S.: RuTube сломался, видимо кто-то что-то перепутал и замедлил не тот tube)
P.P.S.: В августе у нас перерыв, мероприятия NoML продолжим в сентябре.
Про p-адические числа и их приложения
Недавно принимал участие в проходившей на мехмате летней математической школе («4-я Международная студенческая школа ведущих университетов Азии»). Прочитал там мини курс с введением в p-адические числа. На последней лекции чистую арифметику захотелось разбивать приложениями, как классическими: p-адические числа (как в целом почти вся теория чисел) применяются в криптографии и теории кодирования, так и более неожиданными: оказывается существует такое направление как p-адические нейронные сети! Вообще всегда считал p-адические числа чистым разделом теории чисел, но тут по новодке коллег с кафедры ИБ ВМК открыл новое для себя целое направление p-адических динамических систем.
В общем, если кто-то тоже хочет погрузиться подробнее в тему, вот литература
▫️ Краткое введение и обзор приложений: A. Yu. Khrennikov, K. Oleschko, M. de Jesús Correa López — Applications of p-adic numbers: from physics to geology, 2016 (~10 стр., ~20 минут)
▫️ Хороший учебник-введение как в p-адические числа с точки зрения теории чисел, так и в p-адический анализ: F.Q. Gouvêa — p-adic Numbers: An Introduction, 2020 (~300 стр.)
▫️ Здесь можно почитать про p-адические нейронные сети: A. Khrennikov, M. Nilson — P-adic Deterministic and Random Dynamics, 2004 (~250 стр.)
▫️ А здесь можно дальше углубиться в p-адическую динамику и приложения: V. Anashin, A. Khrennikov — Applied Algebraic Dynamics, 2009 (500 стр.)
На летней школе, кстати, обнаружилось, что не всем знакома опенсорсная система компьютерной алгебры SageMath (язык — почти Python). Там как раз можно поиграть с p-адическими числами.
P.S.: Снова приходим к выводу, что для занятий DS/ML не помешает знанение алгебры и теории чисел;)
Недавно принимал участие в проходившей на мехмате летней математической школе («4-я Международная студенческая школа ведущих университетов Азии»). Прочитал там мини курс с введением в p-адические числа. На последней лекции чистую арифметику захотелось разбивать приложениями, как классическими: p-адические числа (как в целом почти вся теория чисел) применяются в криптографии и теории кодирования, так и более неожиданными: оказывается существует такое направление как p-адические нейронные сети! Вообще всегда считал p-адические числа чистым разделом теории чисел, но тут по новодке коллег с кафедры ИБ ВМК открыл новое для себя целое направление p-адических динамических систем.
В общем, если кто-то тоже хочет погрузиться подробнее в тему, вот литература
▫️ Краткое введение и обзор приложений: A. Yu. Khrennikov, K. Oleschko, M. de Jesús Correa López — Applications of p-adic numbers: from physics to geology, 2016 (~10 стр., ~20 минут)
▫️ Хороший учебник-введение как в p-адические числа с точки зрения теории чисел, так и в p-адический анализ: F.Q. Gouvêa — p-adic Numbers: An Introduction, 2020 (~300 стр.)
▫️ Здесь можно почитать про p-адические нейронные сети: A. Khrennikov, M. Nilson — P-adic Deterministic and Random Dynamics, 2004 (~250 стр.)
▫️ А здесь можно дальше углубиться в p-адическую динамику и приложения: V. Anashin, A. Khrennikov — Applied Algebraic Dynamics, 2009 (500 стр.)
На летней школе, кстати, обнаружилось, что не всем знакома опенсорсная система компьютерной алгебры SageMath (язык — почти Python). Там как раз можно поиграть с p-адическими числами.
P.S.: Снова приходим к выводу, что для занятий DS/ML не помешает знанение алгебры и теории чисел;)
Про конфиденциальную аналитику
В среду поучаствовал в IV встрече экспертного сообщества по криптографии и большим данным. Мероприятие было организовано компанией Криптонит @kryptonite_channel и проходило в Музее криптографии @cryptography_museum (кстати, кто не был, горячо рекомендую, есть настоящая Энигма и много чего еще интересного).
В этот раз темой встречи были вопросы доверенного ИИ. Кратко рассказал про задачи безопасной коллаборации данных и технологии конфиденциальности в анализе данных. В связи с этим захотелось вспомнить несколько наших мероприятий NoML по связанным темам.
Летом 2023 года у нас был круглый стол про вопросы конфиденциальности в анализе данных, тогда мы с коллегами прошлись по всем основным подходам (федеративное обучение, синтетика, дифференциальная приватность, криптоанклавы, гомоморфное шифрование, совместные конфиденциальные вычисления):
▫️ Роман Постников (Upgini), Павел Снурницын (GlowByte, Kolmogorov AI), Александр Григорьевский (Sber AI Lab) и Андрей Соколов (YADRO) — Методы конфиденциальной аналитики. YouTube | Дзен | RuTube (1 час 50 минут).
В этом июле у нас был доклад коллег из ИСП РАН и Yandex Cloud про практический кейс применения федеративного обучения:
▫️ Евгений Попов (Yandex Cloud), Никита Лазарев (ИСП РАН), Юрий Маркин (ИСП РАН) — Практический опыт применения FL в медицине на примере обучения модели по классификации ЭКГ-синдромов. YouTube | Дзен | RuTube (1 час 35 минут).
Про область федеративного обучения у нас также уже регулярно проходят обзоры:
▫️ Денис Афанасьев (CrossOverMarkets, SberDevices, NeuroHealth.Care, CleverDATA) — Федеративное обучение: обзор методов, платформ и трендов 2024. YouTube | Дзен | RuTube (1 час 20 минут);
▫️ Денис Афанасьев (SberDevices, CleverDATA) — Таксономия методов FL, обзор платформ, основных игроков, вызовов и трендов развития 2023. YouTube | Дзен | RuTube (1 час 20 минут).
Про применение байесовских сетей для генерации синтетики с сохранением структурных связей мы рассказывали весной 2023 года:
▫️ Рахмет Оджаев (GlowByte), Гузелия Мошнина (GlowByte), Фёдор Смирнов (GlowByte) — Методы генерации синтетических данных. YouTube | Дзен | RuTube (1 час 40 минут).
В тему задач коллаборации и обогащения данных можно вспомнить еще вот такой доклад конца 2023 года:
▫️ Роман Постников (Upgini), Максим Воеводский (Upgini) — Upgini: Библиотека для поиска и обогащения ML моделей релевантными внешними фичами. YouTube | Дзен | RuTube (1 час 25 минут).
А в 2022 году у нас выходил выпуск подкаста, где тоже обсуждали важность конфиденциальных вычислений в бизнес задачах с ИИ:
▫️ Лев Рагулин (oneFactor), Александр Бородин (GlowByte) — Конфиденциальные и совместные вычисления на основе ML. YouTube | Дзен | RuTube (35 минут).
В среду поучаствовал в IV встрече экспертного сообщества по криптографии и большим данным. Мероприятие было организовано компанией Криптонит @kryptonite_channel и проходило в Музее криптографии @cryptography_museum (кстати, кто не был, горячо рекомендую, есть настоящая Энигма и много чего еще интересного).
В этот раз темой встречи были вопросы доверенного ИИ. Кратко рассказал про задачи безопасной коллаборации данных и технологии конфиденциальности в анализе данных. В связи с этим захотелось вспомнить несколько наших мероприятий NoML по связанным темам.
Летом 2023 года у нас был круглый стол про вопросы конфиденциальности в анализе данных, тогда мы с коллегами прошлись по всем основным подходам (федеративное обучение, синтетика, дифференциальная приватность, криптоанклавы, гомоморфное шифрование, совместные конфиденциальные вычисления):
▫️ Роман Постников (Upgini), Павел Снурницын (GlowByte, Kolmogorov AI), Александр Григорьевский (Sber AI Lab) и Андрей Соколов (YADRO) — Методы конфиденциальной аналитики. YouTube | Дзен | RuTube (1 час 50 минут).
В этом июле у нас был доклад коллег из ИСП РАН и Yandex Cloud про практический кейс применения федеративного обучения:
▫️ Евгений Попов (Yandex Cloud), Никита Лазарев (ИСП РАН), Юрий Маркин (ИСП РАН) — Практический опыт применения FL в медицине на примере обучения модели по классификации ЭКГ-синдромов. YouTube | Дзен | RuTube (1 час 35 минут).
Про область федеративного обучения у нас также уже регулярно проходят обзоры:
▫️ Денис Афанасьев (CrossOverMarkets, SberDevices, NeuroHealth.Care, CleverDATA) — Федеративное обучение: обзор методов, платформ и трендов 2024. YouTube | Дзен | RuTube (1 час 20 минут);
▫️ Денис Афанасьев (SberDevices, CleverDATA) — Таксономия методов FL, обзор платформ, основных игроков, вызовов и трендов развития 2023. YouTube | Дзен | RuTube (1 час 20 минут).
Про применение байесовских сетей для генерации синтетики с сохранением структурных связей мы рассказывали весной 2023 года:
▫️ Рахмет Оджаев (GlowByte), Гузелия Мошнина (GlowByte), Фёдор Смирнов (GlowByte) — Методы генерации синтетических данных. YouTube | Дзен | RuTube (1 час 40 минут).
В тему задач коллаборации и обогащения данных можно вспомнить еще вот такой доклад конца 2023 года:
▫️ Роман Постников (Upgini), Максим Воеводский (Upgini) — Upgini: Библиотека для поиска и обогащения ML моделей релевантными внешними фичами. YouTube | Дзен | RuTube (1 час 25 минут).
А в 2022 году у нас выходил выпуск подкаста, где тоже обсуждали важность конфиденциальных вычислений в бизнес задачах с ИИ:
▫️ Лев Рагулин (oneFactor), Александр Бородин (GlowByte) — Конфиденциальные и совместные вычисления на основе ML. YouTube | Дзен | RuTube (35 минут).
Мероприятия NoML в сентябре
Скоро начинаем осенний сезон наших мероприятий!
Сентябрь у нас наполнился семинарами. Все доклады по средам в 17:00 МСК, сохраняйте релевантные темы в свои календари:
▫️ 04.09 | Альфия Харламова (GlowByte AA), Гевонд Асадян (Альфа-Банк) — Унифицированный процесс разработки и продуктивизации каскадов связанных ML моделей в Альфа-Банке;
▫️ 11.09 | Арсений Попов (ИТМО) — Стохастические дифференциальные уравнения: несколько слов и пара примеров сверху;
▫️ 18.09 | Сергей Панкратов (GlowByte AA) — Reinforcement Learning для задачи Next Best Offer;
▫️ 25.09 | Алексей Ложкинс (LA Optimization) — Искусство математического моделирования.
Ссылка для подключения: Google Meet→
На всякий случай следите за обновлениями в наших канале @noml_digest и чате @noml_community, там же публикуются более детальные анонсы предстоящих докладов.
Скоро начинаем осенний сезон наших мероприятий!
Сентябрь у нас наполнился семинарами. Все доклады по средам в 17:00 МСК, сохраняйте релевантные темы в свои календари:
▫️ 04.09 | Альфия Харламова (GlowByte AA), Гевонд Асадян (Альфа-Банк) — Унифицированный процесс разработки и продуктивизации каскадов связанных ML моделей в Альфа-Банке;
▫️ 11.09 | Арсений Попов (ИТМО) — Стохастические дифференциальные уравнения: несколько слов и пара примеров сверху;
▫️ 18.09 | Сергей Панкратов (GlowByte AA) — Reinforcement Learning для задачи Next Best Offer;
▫️ 25.09 | Алексей Ложкинс (LA Optimization) — Искусство математического моделирования.
Ссылка для подключения: Google Meet→
На всякий случай следите за обновлениями в наших канале @noml_digest и чате @noml_community, там же публикуются более детальные анонсы предстоящих докладов.
Семинар про оркестратор каскадов моделей
▫️ 4 сентября (среда), 17:00 МСК
▫️ Подключение→
Выступают: Альфия Харламова (GlowByte), Гевонд Асадян (Альфа-Банк)
Тема: От бизнес-потребности к эксплуатации за 5 шагов: как мы выстроили унифицированный процесс разработки и продуктивизации каскадов связанных ML моделей в Альфа-Банке
Аннотация
Для всестороннего анализа клиента используется большое число внешних источников данных, обработка которых выделяется в отдельные модули. В отличии от ситуации, когда под все кейсы используется одна сложная модель, многомодульный подход в системе принятия решений позволяет добиться гибкости при выстраивании разных стратегий вызова моделей. Каскад — это набор независимых моделей, запускаемых последовательно или параллельно на разных уровнях иерархии и выдающих один общий результат.
В докладе расскажем:
▫️ О проблемах и ограничениях, возникающих при оркестрации моделей;
▫️ Как мы пришли к потребности в едином инструменте для управления каскадами;
▫️ Что такое Онлайн-каскад-девелопер и из чего он состоит;
▫️ Что мы получили в итоге, и какова реальная бизнес ценность такого инструмента;
▫️ Каким мы видим дальнейшее развитие инструмента.
▫️ 4 сентября (среда), 17:00 МСК
▫️ Подключение→
Выступают: Альфия Харламова (GlowByte), Гевонд Асадян (Альфа-Банк)
Тема: От бизнес-потребности к эксплуатации за 5 шагов: как мы выстроили унифицированный процесс разработки и продуктивизации каскадов связанных ML моделей в Альфа-Банке
Аннотация
Для всестороннего анализа клиента используется большое число внешних источников данных, обработка которых выделяется в отдельные модули. В отличии от ситуации, когда под все кейсы используется одна сложная модель, многомодульный подход в системе принятия решений позволяет добиться гибкости при выстраивании разных стратегий вызова моделей. Каскад — это набор независимых моделей, запускаемых последовательно или параллельно на разных уровнях иерархии и выдающих один общий результат.
В докладе расскажем:
▫️ О проблемах и ограничениях, возникающих при оркестрации моделей;
▫️ Как мы пришли к потребности в едином инструменте для управления каскадами;
▫️ Что такое Онлайн-каскад-девелопер и из чего он состоит;
▫️ Что мы получили в итоге, и какова реальная бизнес ценность такого инструмента;
▫️ Каким мы видим дальнейшее развитие инструмента.
Семинар про стохастические дифференциальные уравнения
▫️ 11 сентября (среда), 17:00 МСК
▫️ Подключение→
Выступает: Арсений Попов, студент и ассистент научно-образовательного центра математики университета ИТМО
Тема: Стохастические дифференциальные уравнения: несколько слов и пара примеров сверху
Аннотация
На семинаре отвлечемся на основные идеи стохастического исчисления: введем понятие случайного процесса, рассмотрим классический и ключевой для нас случай описания броуновского движения, подойдём к понятиям стохастических интеграла и дифференциала, а также стохастических дифференциальных уравнений (СДУ). Рассмотрим пару подходов к "решению" СДУ: нахождение решения для моментов, и (в случае краевой задачи) нахождение плотности вероятности с использованием уравнения Фоккера-Планка. Завершим парой иллюстраций применения СДУ в финансовой математике и диффузионных моделях.
Уровень сложности: начинающий, для понимания материала будет достаточно знаний математического анализа и теории вероятностей уровня выпускника инженерной специальности и некоторых представлений о дифференциальных уравнениях.
▫️ 11 сентября (среда), 17:00 МСК
▫️ Подключение→
Выступает: Арсений Попов, студент и ассистент научно-образовательного центра математики университета ИТМО
Тема: Стохастические дифференциальные уравнения: несколько слов и пара примеров сверху
Аннотация
На семинаре отвлечемся на основные идеи стохастического исчисления: введем понятие случайного процесса, рассмотрим классический и ключевой для нас случай описания броуновского движения, подойдём к понятиям стохастических интеграла и дифференциала, а также стохастических дифференциальных уравнений (СДУ). Рассмотрим пару подходов к "решению" СДУ: нахождение решения для моментов, и (в случае краевой задачи) нахождение плотности вероятности с использованием уравнения Фоккера-Планка. Завершим парой иллюстраций применения СДУ в финансовой математике и диффузионных моделях.
Уровень сложности: начинающий, для понимания материала будет достаточно знаний математического анализа и теории вероятностей уровня выпускника инженерной специальности и некоторых представлений о дифференциальных уравнениях.
Про стохастические дифференциальные уравнения
Материалы по теме от докладчика Арсения Попова @GreatestParrot.
Книги и учебники:
▫️ Я.И. Белопольская, Стохастические дифференциальные уравнения. Приложения к задачам математической физики и финансовой математики, 2023 (~300 стр.);
▫️ Д.Ф. Кузнецов, Стохастические дифференциальные уравнения: теория и практика численного решения, 2007 (~770 стр.);
▫️ С.С. Степанов, Стохастический мир, 2012 (~370 стр.);
▫️ Плюс более полный список литературы можно найти здесь.
Курс лекций:
▫️ А.Ю. Веретенников, Теория стохастических дифференциальных уравнений (19 лекций).
Пост про генеративные модели:
▫️ Yang Song, Score-based generative modeling with stochastic differential equations, 2021 (~25 минут).
А в контексте диффузионных моделей наш модератор Вазген Амбарцумов @VagOnOff вспоминал про доклады Дмитрия Ветрова:
▫️ D. Vetrov, Introduction to diffusion models (part I, part II), 2022 (~2 часа 30 минут).
Материалы по теме от докладчика Арсения Попова @GreatestParrot.
Книги и учебники:
▫️ Я.И. Белопольская, Стохастические дифференциальные уравнения. Приложения к задачам математической физики и финансовой математики, 2023 (~300 стр.);
▫️ Д.Ф. Кузнецов, Стохастические дифференциальные уравнения: теория и практика численного решения, 2007 (~770 стр.);
▫️ С.С. Степанов, Стохастический мир, 2012 (~370 стр.);
▫️ Плюс более полный список литературы можно найти здесь.
Курс лекций:
▫️ А.Ю. Веретенников, Теория стохастических дифференциальных уравнений (19 лекций).
Пост про генеративные модели:
▫️ Yang Song, Score-based generative modeling with stochastic differential equations, 2021 (~25 минут).
А в контексте диффузионных моделей наш модератор Вазген Амбарцумов @VagOnOff вспоминал про доклады Дмитрия Ветрова:
▫️ D. Vetrov, Introduction to diffusion models (part I, part II), 2022 (~2 часа 30 минут).