tgoop.com/airi_research_institute/526
Last Update:
Исследователи AIRI выяснили, что большие языковые модели гораздо линейнее, чем все думали
В новом исследовании ученые лаборатории FusionBrain AIRI вместе с коллегами из Сколтеха и Sber AI обнаружили, что преобразование эмбеддингов в большей части слоёв в трансформерах-декодерах на 99% имеет линейный характер, причём такое наблюдается во всех популярных моделях. Фактически, это значит, что множество нелинейных операций в таких слоях можно заменить на линейное преобразование без потери качества.
Исследование позволяет проанализировать внутренние представления языковых моделей, а также без потери качества избавиться от 10-15% слоёв. Научная статья уже принята на конференцию ACL (A*), а код выложен на GitHub.
Статья попала на первое место в Daily Papers на Hugging Face, проголосовать за нее можно по ссылке
