TabM

Репозиторий, содержащий имплементацию TabM — модели, эффективно имитирующей ансамбль многослойных перцептронов для решения задач на табличных данных. Для этого вводятся специальные адаптеры - матрицы, чьи элементы равны ± 1. Эти адаптеры эффективно создают уникальные версии матрицы весов, за счет чего и имитируется ансамбль. В итоговой архитектуре такой адаптер применяется только ко всем копиям одного входа, которые затем подаются в линейные слои. В серии экспериментов авторы показывают существенное превосходство метода для задач на табличных данных по сравнению с другими классическими и нейросетевыми подходами, в том числе использующие механизм внимания. Модель также демонстрирует лучшую скорость обучения и инференса, уступая лишь стандартному MLP и XGBoost. Работа может быть полезна аналитикам, DS-специалистам и DL-исследователям.

статья | код

rtdl-num-embeddings

Библиотека на python, позволяющая получать эмбеддинги для непрерывных признаков в задачах для табличных данных. Используемые вместо скалярных признаков эмбеддинги улучшают итоговое качество моделей на специфических задачах, при этом не увеличивая вычислительную сложность. В своей работе авторы представляют несколько алгоритмов получения эбмеддингов, а в экспериментальной части показывают состоятельность метода. В частности, сравнивая DL-алгоритмы с классическими подходами, такими как GBDT, на задачах, заточенных под последние. В таком режиме DL методы без использования эмебеддингов уступают классическим, а при использовании обходят их. Библиотека может быть полезна DS-специалистам, дата аналитикам и ML-инженерам.

статья | код

RATANSunPy

Библиотека на python, разработанный для доступа, визуализации и анализа многополосных радионаблюдений Солнца с комплекса РАТАН-600. Эти данные представляют ценность для диагностики состояния солнечной плазмы и прогнозирования солнечной активности. Пакет предлагает комплексные функции обработки данных, включая прямой доступ к необработанным данным, основные этапы обработки, такие как калибровка и нормализация тихого Солнца, а также инструменты для анализа солнечной активности. Сюда входит автоматическое обнаружение локальных источников, идентификация их с активными областями NOAA и дальнейшее определение параметров для локальных источников и активных областей. Работа может быть полезна физикам, астрономам, и DS-специалистам.

статья | код

structural-graph-shifts

В работе рассматривается проблема оценки робастности моделей графовых нейронных сетей. Для оценки неопределенности прогноза в таких моделях используются различные подходы: общие, например, ансамблирование, и специфические, использующие свойства графовой структуры. Вне зависимости от метода оценки устойчивости модели, для его обучения необходимы данные, содержащие в себе различные источники неопределенностей, например, сдвиги распределений. Типичные датасеты для оценки робастности графовых нейронных сетей используют сдвиги на уровне признаков. Авторы предлагают более универсальный способ создания неопределенности в данных, основанный на особенностях графовых данных. В репозитории проекта содержится код, позволяющий получить подобные данные с различными видами неопределенности, а также имплементацию различных методов оценки неопределенности и улучшения робастности. В серии экспериментов авторы демонстрируют сложность, с которой сталкиваются модели в таком режиме обучения. При этом более простые модели часто превосходят в качестве прогноза продвинутые алгоритмы. Работа может быть полезна DL-исследователям, специалистам по графовым нейронным сетям, DS-специалистам и дата аналитикам.

статья | код

Первое исследование open source от СберТеха

Исследователи из СберТеха проанализировали тысячи профилей на GitHub и получили интересные результаты об open source в мире и в России.

Некоторые выводы исследования:
🟢 основные языки разработки — Python и JavaScript, в тренде —TypeScript, Rust и Lua;
🟢 самый популярный российский проект на GitHub — JavaScript-фреймворк core-js;
🟢 самая популярная у нас отечественная большая языковая модель — ruGPT3 (Сбер), а СУБД — YDB (Яндекс);
🟢 самые популярные категории open source проектов — JavaScript-, web- и css-фреймворки;
🟢 локальное китайское open source сообщество Gitee растет быстрее, чем на GitHub, и уже опережает его более чем в 1,5 раза по числу репозиториев.

Полный отчет можно посмотреть здесь.

DeepZ

Репозиторий содержит код и данные для обучения нейросетей для поиска и выявления паттернов в Z-ДНК генома человека и мышей. Вопрос о роли Z-ДНК в процессе транскрипции актуален для вычислительной биологии и медицины. Исследования роли Z-флипонов в процессе создания РНК-копий генов может помочь в разработке новых лекарств. При обучении учитывалась не только информация из линейной последовательности ДНК, но и данные из десятков тысяч омиксных экспериментов. Обученные модели - для человека и мыши - выявляют в последовательности ДНК участки, которые с наибольшей вероятностью являются Z-ДНК. Работа может быть полезна медикам, биологам, биоинженерам и фармакологам.

статья | код

Mr.Handy

Handy — проект с открытым исходным кодом на С++ и python, поддерживаемый HSE Robotics Group. Цель проекта — спроектировать и разработать роботизированный манипулятор, который сможет играть в настольный теннис. В репозитории есть код для считывания данных с камер, обучения и инференса модели для детекции шарика для тенниса, а так же для управления рукой-манипулятором. Весь код, наборы данных, модели и инструкции по разработке доступны и, как обещают авторы, всегда будут доступны онлайн. Следить за проектом можно в канале группы робототехники. Проект может быть полезен начинающим специалистам в области робототехники, машинного обучения и программирования микроконтроллеров.

код | канал

delPezzo

Модуль для Sagemath для изучения гибкости аффинных конусов над поверхностями дель Пеццо. Код призван облегчать большинство операций для проверки общей гибкости аффинных конусов над поверхностями дель Пеццо и слабыми поверхностями дель Пеццо произвольной степени в зависимости от поляризации. Используя его, авторы проверили общую гибкость аффинных конусов над поляризациями поверхностей степени 1 при определенных условиях и над произвольными очень обильными поляризациями слабых поверхностей дель Пеццо степени 6. Репозиторий может быть полезен математикам.

статья | код

vaidya-with-certificates

В репозитории представлен код для построения сертификатов точности — специальных вычислимых критериев останова в задачах выпуклой оптимизации — подходящих для методов отсечения плоскости, использующих многоугольники в качестве локализаторов. В качестве примера авторы приводят метод Вайдьи, являющийся асимптотически оптимальным с точки зрения вызова оракула. Численные эксперименты показывают превосходство представленного метода построения сертификатов по сравнению с бейзлайн подходом. В качестве причины такого феномена исследователи называют отличие в методах: описываемый алгоритм ищет сертификаты, напрямую максимизирующие функцию, используемую для ограничения остатка. Работа может быть полезна исследователям в области оптимизации, DL-исследователям и математикам.

статья | код

heterophilous-graphs

В репозитории содержится код для воспроизведения результатов работы по критическому анализу оценки графовых нейронных сетей (GNN) на гетерофильных графах. Авторы выявили серьёзные недостатки популярных датасетов (squirrel, chameleon), включая дублирование узлов, что приводит к утечке данных между обучающей и тестовой выборками. Устранение дубликатов значительно снижает производительность моделей, меняя их ранжирование. Исследователи предлагают новые гетерофильные датасеты (roman-empire, amazon-ratings и др.), охватывающие различные домены и структурные свойства. Эксперименты показали, что стандартные GNN (например, GCN, GraphSAGE), особенно с модификацией разделения эго- и соседних эмбеддингов, часто превосходят специализированные модели для гетерофилии. Работа может быть полезна аналитикам данных, DL-исследователям и специалистам по графам.

статья | код

Привет!

Напоминаем, что сегодня в 18:30 в аудитории N508 Александр Рыжков расскажет про LightAutoML и про себя 😎

Приходите послушать и задать свои вопросы Александру

btard

В репозитории представлен код для проведения безопасного распределённого обучения нейронных сетей с учетом атак Byzantine. Авторы предлагают новый протокол BTARD-SGD, который сочетает эффективность современных алгоритмов All‑Reduce с криптографическими методами проверки целостности данных.В работе проведён строгий теоретический анализ сходимости как для выпуклых, так и для невыпуклых задач, а также для случаев с тяжелыми хвостами распределения градиентов. Дополнительно предложена эвристика для защиты от Sybil‑атак, позволяющая новым участникам присоединяться к обучению только после демонстрации надёжности своих вычислений. Экспериментальная оценка включает обучение ResNet‑18 на CIFAR‑10 и предобучение ALBERT‑large, где предложенный протокол успешно противостоит различным типам атак (обратное знаковое, атаки случайным направлением, флиппинг меток, задержка градиентов и др.), позволяя быстро восстановить качество модели после атак. Работа может быть полезна исследователям в области распределённого обучения, специалистов по безопасности ИИ и разработчикам систем коллективного обучения, где важно объединять вычислительные ресурсы без риска компрометации результатов из-за недобросовестных участников.

статья | код

CodeBuddy

В репозитории содержится код для реализации сервиса генерации кода мобильных приложений (iOS/Android) на основе больших языковых моделей. Авторы адаптируют существующую модель (CodeQwen) с помощью тонкой настройки (PEFT, QLoRA), а также проводят собственное бенчмаркинговое тестирование, ориентированное на задачи мобильной разработки (Swift). Предложенная микросервисная архитектура включает несколько модулей (API Gateway, чат, авторизация, ИИ-модуль), что повышает масштабируемость и удобство интеграции. Авторы показывают, что такой сервис способен автоматически генерировать компоненты пользовательского интерфейса, бизнес-логику, а также код тестов, упрощая рутинные задачи разработчика. Работа может быть полезна разработчикам мобильных приложений, специалистам по генерации кода и исследователям, занимающимся применением больших языковых моделей в узкоспециализированных областях.

статья | код