Открытый код ФКН ВШЭ

TensorNorm

Код на python, позволяющий считать и контролировать спектральную норму матрицы Якоби. Задача естественным образом возникает в обучении больших сверточных моделей. В своей работе авторы предлагают использовать тензоную спектральную норму для вычисления нормы всего сверточного слоя. Код вычисления нормы инвариантен к входному разрешению картинки и может быть эффективно вычислен во время обучения. В работе авторы выводят теоретическую верхнюю границу нормы, а в серии экспериментов показывают состоятельность метода, демонстрирую лучшую обобщающую способность моделей, регуляризированных с помощью данного подхода. Авторы также показывают, что их алгоритм показывает компромисс между точностью и скоростью вычисления. Код может быть полезен DL-исследователям разных областей и data-science специалистам.

код | статья

GitHub

GitHub - GrishKate/conv_norm

Contribute to GrishKate/conv_norm development by creating an account on GitHub.

❤7🔥2🤔1

www.tgoop.com/hse_cs_opensource/53

916 viewsNov 8, 2024 at 10:28

TensorNorm

Код на python, позволяющий считать и контролировать спектральную норму матрицы Якоби. Задача естественным образом возникает в обучении больших сверточных моделей. В своей работе авторы предлагают использовать тензоную спектральную норму для вычисления нормы всего сверточного слоя. Код вычисления нормы инвариантен к входному разрешению картинки и может быть эффективно вычислен во время обучения. В работе авторы выводят теоретическую верхнюю границу нормы, а в серии экспериментов показывают состоятельность метода, демонстрирую лучшую обобщающую способность моделей, регуляризированных с помощью данного подхода. Авторы также показывают, что их алгоритм показывает компромисс между точностью и скоростью вычисления. Код может быть полезен DL-исследователям разных областей и data-science специалистам.

код | статья

BY Открытый код ФКН ВШЭ