ARD-EM

Реализация ARD (Automatic Relevance Determination) EM на Python. Классический ЕМ-алгоритм восстановления смеси нормальных распределений не позволяет определять количество компонент смеси. В работе предлагается алгоритм автоматического определения числа компонент ARD EM, основанный на методе релевантных векторов. Идея алгоритма состоит в использовании на начальном этапе заведомо избыточного количества компонент смеси с дальнейшим определением релевантных компонент с помощью максимизации правдоподобия. Эксперименты на модельных задачах показывают, что количество найденных кластеров либо совпадает с истинным, либо немного превосходит его. Кроме того, кластеризация с помощью ARD EM оказывается ближе к истинной, чем у аналогов. Код может быть полезен ML-исследователям, физикам и инженерам для задач кластеризации и восстановления распределения данных

код | статья

VGsim

Библиотека для Python, предназначенная для моделирования вирусных генеалогий (VGsim — Viral Genealogy Simulator), с помощью которого можно моделировать пути распространения COVID-19 в условиях глобальной пандемии и прочие сценарии пандемий мирового масштаба. Симулятор вирусных генеалогий — программное обеспечение, предназначенное для проверки методов анализа данных, связанных с генетической природой коронавируса. По генетическим последовательностям вирусов можно детально проследить пути их распространения — построить их генеалогию, дерево заражений. Такие деревья содержат много информации, в частности, об эволюции патогенов. Авторы отмечают, что их библиотека не только является самым быстрым симулятором вирусных генеалогий, но так же способна учитывать миграцию, что отличает ее от общерпинятых моделей. Библиотека может быть полезна ученым-эпидемиологам, data science специалистам в области медицины и статистики.

статья | код

CartPole

Студенческий проект, предназначенный для изучения основ робототехники и теории управления, написанный на python и C++. Репозиторий содержит код для окружающей среды, которая представляет собой некоторую вариацию классической задачи cart-pole, описанной Барто, Саттоном и Андерсоном. Шарнир прикрепляет шест к тележке, которая движется вдоль направляющей оси. Некий шаговый двигатель приводит тележку в движение. Цель управления — желаемое ускорение тележки. Тележка начинает движение посередине без скорости или ускорения. Изначально шест находится в состоянии покоя. Задача — поднять шест и удерживать его в вертикальном положении, увеличивая и уменьшая скорость тележки. Код содержит интерфейс и для симулятора среды, и для контроллера, позволяя обучать модель и запускать ее на конечном устройстве, которое должно будет управлять вагонеткой. Проект может быть полезен студентам и энтузиастам, не только изучающим основы робототехники, но и уже имеющим схожий опыт, а так же инженерам, работающим со встраиваемыми устройствами.

код

Интервью Эмели Драль — кофаундера и технического директора Evidently AI. У её open source библиотеки для оценки, тестирования и мониторинга качества данных и моделей машинного обучения уже более 22 миллионов скачиваний.

Расспросили её о пути в карьере, передаче знаний, необходимых скиллах и будущем отрасли: https://habr.com/ru/companies/oleg-bunin/articles/840716/

Procfiler — это инструмент, целью которого является устранение разрыва между .NET и Process Mining. В нем поддерживается сбор событий CLR (ETW) через EventPipe, а также различные экземпляры процессов (вызов метода, выполнение всей программы) и сериализация полученных журналов событий в разные форматы, в частности в XES. Затем журналы событий XES можно анализировать с помощью различных инструментов Process Mining, таких как ProM или pm4py. Более того, предложенный метод позволяет просматривать события на разных уровнях абстракции, тем самым увеличивая количество обнаруживаемых закономерностей и действий. В статье также описана серия экспериментов, проведенных для оценки предлагаемого метода обнаружения активности. Библиотека может быть полезна разработчикам и системным аналитикам.

статья | код

Привет!
Мы открываем комментарии в канале. И чтобы было всем комфортно, мы вводим три простых правила. Вот они на картинке.

На канале мы рассказываем про проекты студентов и сотрудников ФКН. Поделитесь в комментариях ссылками на ваши проекты.

Вы делали их во время ваших КР и ВКР? Возможно, это пет-проекты, которые вы развиваете в свободное время? А может, вы хотите в каком-то поучаствовать или создать новый? Нам очень интересно узнать об этом!

Понравился проект? Поставьте звездочку на Github.

TIRE

Библиотека на Python, реализующий метод поиска точек разладки для временных рядов на основе автоэнкодера. Алгоритмы для поиска таких точек, использующие подходы с глубинным обучением, часто не способны обнаружить и верно идентифицировать небольшие изменения, а также страдают от большой частоты ложноположительных срабатываний. Для борьбы с этими проблемами авторы предлагают использовать автокодироващик вместе с модифицированной функцией потерь, которая позволяет выучивать представления, инвариантные ко времени. Дополнительно авторы упоминают по постпроцессинг, значительно улучшающий качество не только представленного метода, но и базовых алгоритмов. Гибкость метода позволяет выбирать на инференсе, в какой области искать разладку: по времени, частоте или везде сразу. Авторы демонстрируют состоятельность своего метода на ряде синтетических и реальных данных, иногда превосходя бейзлайны. Работа может быть полезна инженерам, финансистам, machine learning инженерам и исследователям области временных рядов.

статья | код

Приветствую всех!

Некоторое время назад мы опубликовали статью под названием «Open Source в российском ИИ: исследование ландшафта», в которой проанализировали, кто и как занимается опенсорсом в научной сфере, а также предложили некоторые критерии для сравнения опенсорсных экосистем. Однако этот материал охватывает лишь один из множества аспектов создания и применения открытых решений.

В нашем следующем исследовании мы решили расширить рамки и рассмотреть вопрос используемости открытых инструментов в знакомых нам областях ИИ, машинного обучения, Data Science и работы с данными в целом. Сегодня мы завершили работу над этим материалом и рады представить его публике.

Исследование называется «Использование ML/Data-опенсорса в России» и доступно по ссылке — https://opensource.itmo.ru

На этот раз оно оформлено в виде красочного лендинга, с созданием которого нам помогли пресс-служба и управление интернет-ресурсов ИТМО. В подготовке участвовали сотрудники исследовательского центра «Сильный ИИ в промышленности», студенты и аспиранты ИТМО.

Первая часть исследования содержит краткое изложение целей, методологии и основных результатов. Мы поговорили с несколькими экспертами из различных компаний и университетов ― Яндекса, Сбера, Т-Банка, VK, Wildberries, Рокет Контрола, CodeScoring, МФТИ. Кроме того, мы собрали открытые данные и на их основе выделили наиболее активно используемые опенсорсные проекты, а также компании, активно участвующие в опенсорс-инициативах.

Далее вы сможете погрузиться в технические детали. Мы реализовали парсер данных из GitHub API и сторонних сервисов (таких, как pepy, star-history и др.), на основе которых проанализировали геоданные пользователей, использующих открытые проекты и участвующих в их развитии. Также уделили внимание существующим опенсорс-сообществам, другим исследованиям на схожие темы, перспективам развития опенсорса в эпоху ИИ и многому другому. Надеемся, что будет полезно и интересно.

Читайте, комментируйте, оставляйте обратную связь прямо в чате. Весь фидбэк используем для подготовки следующей версии исследования.

Всероссийский конкурс проектов с открытым кодом для студентов

Конкурс служит платформой для входа в open source для школьников и студентов. Участникам необходимо опубликовать свой проект на Github/Gitlab или внести значительный вклад в развитие одной из существующих open source разработок.

💡 Проект предназначен для школьников и студентов.
💡 Программа состоит из акселератора и конкурсной части.
💡 Эксперты из ведущих IT-компаний оценивают проекты на платформах Github и Gitlab.
💡 Лучшие участники получат CodeReview от экспертов ведущих технологических компаний и подготовку к публикации статьи о своём проекте.

Этапы конкурса:
🕑 01.09.2024 - 01.03.2025: Проведение мероприятий образовательной программы.
🕑 01.11.2024 - 01.03.2025: Прием конкурсных заявок по направлениям.

Среди партнеров Яндекс и Robbo.

Подробности на сайте.

Open OS Challenge 2024

Конкурс по открытому системному программному обеспечению для студентов.

Участникам предстоит не только проверить свои теоретические знания, но и применить их на практике, выполняя конкурсные задания, ориентированные на разработку, администрирование и практическое использование операционных систем на базе ядра Linux.

Конкурс будет проходить в три этапа:
1️⃣ Первый этап (теоретический): участникам необходимо пройти онлайн-тестирование.
2️⃣ Второй этап (практический): в течение двух дней конкурсантам предстоит решить несколько прикладных задач, используя удаленное подключение к виртуальным машинам с предустановленной операционной системой OpenScaler.
3️⃣ Финал. Победители двух отборочных туров будут приглашены на очный финал, где им нужно будет решить ряд более сложных задач в присутствии членов жюри конкурса.


🥇Призовой фонд 1 000 000 рублей и ценные призы. Пять лучших участников поедут в Китай!


❗️Регистрация и первый этап до 22 сентября на сайте.

GP-VAE

Модель для вероятностного заполнения пропусков во временных рядах. Авторы работы сравнивают свой подход с классическими моделями глубинного обучения для решения задачи заполнения пропусков, решая проблему ненадежности и малой интерпоетируемости последних. Модель со скрытыми переменными предполагает, что многомерные данные имеют низкоразмерное представление, изменяющиеся с течением времени согласно гауссовскому процессу. Нелинейное снижение размерности пропущенных данных достигается с помощью подхода VAE с новым структурированным вариационным приближением. В экспериментальной части исследователи демонстрируют, что такой подход превосходит несколько классических нейросетевых моделей заполнения пропусков для многомерных данных разной модальности, одновременно предоставляя интерпретируемые оценки неопределенности. Код может быть полезен data science специалистам и исследователям, работающим с временными рядами.

статья | код

Linguacodus

Фреймворк, использующий большие языковые модели для автоматизации преобразования описания задач в код Python. Linguacodus решает эту задачу путем развертывания динамического конвейера, который итеративно преобразует описания задач на естественном языке в код с помощью высокоуровневых инструкций на основе данных. Фреймворк работает в 4 этапа: генерация описания задачи, где модель описывает данные, препроцессинг, архитектуру модели и прочие важные детали; тюнинг Llama2 на основе полученной информации; инференс Llama2, позволяющий отобрать три лучшие инструкции; и итеративный процесс улучшения ответов с помощью мульти-агентной языковой модели. В серии экспериментов на датасете с кодом для машинного обучения авторы демонстрируют эффективность своего метода по генерации кода. Фреймворк будет полезен как исследователям в области языковых моделей и генерации кода, так и прикладным специалистам машинного обучения.

статья|код

Вебинары по разработке кода для всех

Приглашаем вас на серию открытых вебинаров по разработке кода. Мы обсудим командную работу над проектами на платформе Github, научимся создавать воспроизводимые и качественные проекты, а также публиковать их на известных ресурсах открытого кода.

Докладчик:
Павел Ахтямов
Release Engineer в PhotoLab Development. Биоинформатик в ЭНЦ. Преподаватель МФТИ, МГТУ им. Баумана, ВШЭ, ЦУ

Даты и темы:
⭐️ 04.10 Система контроля версий Git. Работа и авторизация с GitHub. Оформление в формате Markdown. Лицензии кода.

⭐️ 11.10 Структура ветвления в Git и GitHub. Механизм Pull Request. Проведение Code Review в проектах. Разные стратегии ветвления проектов. Процедуры воспроизведения проектов.

⭐️ 18.10 Автоматизация сборки проектов с использованием Github Actions. Инструменты проверки качества проекта.

⭐️ 01.11 Основы контейнеризации проектов. Публикация проектов в Docker Registry, PyPi, CRAN.

🕝 Когда: пятницы 18:10
🖥 Где: zoom

Следите за анонсами на канале.

StyleFeatureEditor

Библиотека на Python, позволяющая обучать модель для редактирования изображения. В основе работы лежит новый подход к обучению StyleGan, позволяющий одновременно редактировать изображения в мало- и высокоразмерном пространствах, благодаря чему появляется возможность получать желаемые тонкие детали у редактируемого изображения и вместе с этим сохранить их при обратном переходе в исходное пространство. Авторы демонстрируют превосходное качество подхода даже для сложных, внедоменных изображений, добиваясь практически неотличимого правдоподобия полученных изображений, а также обходя в численных метриках другие методы. Код может быть полезен исследователям в области генеративных моделей и разработчикам приложений для редактирования фотографий.

статья | код

Привет!
Начинаем семинар сегодня в 18:10. Не пропустите 🙂

До митапа всего 4 дня!

Напоминаем, что он состоится 8 октября в 19:00 в Loft Story (ул. Газовая, 10Ж), а зарегистрироваться можно здесь.

Митап пройдёт в рамках проекта «Научный Петербург». В программе будут доклады про китайский опенсорс от наших коллег из сообщества OpenScaler, питчи LLM-ассистента для проверки научных работ и библиотеки по обработке и генерации векторной графики, а ещё — безумные идеи хранения данных. Полная версия программы доступна здесь.

До встречи на митапе!

Митап организован при поддержке Центра научной коммуникации ИТМО, сообщества OpenScaler и исследовательского центра «Сильный ИИ в промышленности».
Проект поддержан Министерством науки и высшего образования РФ.
#десятилетиенауки #МинобрнаукиРоссии #популяризациянауки