tgoop.com/hse_cs_opensource/64
Last Update:
TabM
Репозиторий, содержащий имплементацию TabM — модели, эффективно имитирующей ансамбль многослойных перцептронов для решения задач на табличных данных. Для этого вводятся специальные адаптеры - матрицы, чьи элементы равны ± 1. Эти адаптеры эффективно создают уникальные версии матрицы весов, за счет чего и имитируется ансамбль. В итоговой архитектуре такой адаптер применяется только ко всем копиям одного входа, которые затем подаются в линейные слои. В серии экспериментов авторы показывают существенное превосходство метода для задач на табличных данных по сравнению с другими классическими и нейросетевыми подходами, в том числе использующие механизм внимания. Модель также демонстрирует лучшую скорость обучения и инференса, уступая лишь стандартному MLP и XGBoost. Работа может быть полезна аналитикам, DS-специалистам и DL-исследователям.
статья | код
BY Открытый код ФКН ВШЭ

Share with your friend now:
tgoop.com/hse_cs_opensource/64