tgoop.com/UseDataConfChannel/393
Last Update:
Как сжимать большие языковые модели без потери в качестве и скорости?
С докладом на тему «Экстремальное сжатие больших языковых моделей» выступит Денис Кузнеделев из Яндекса
За последние несколько лет был достигнут прогресс в области обработки естественного языка. Однако большой размер и значительный объем вычислений затрудняют внедрение сильных моделей из-за высокой стоимости.
Одним из самых эффективных методов уменьшения размера модели и ускорения ее работы является квантизация — представление параметров в некоторой более компактной форме. Однако при сжатии в 8 и более раз стандартные подходы, сжимающие параметры поодиночке, слишком сильно ухудшают качество работы языковой модели.
Денис расскажет о новом методе квантизации и методе дообучения — вместе они помогают достигать более высоких результатов в качестве и скорости.
✅Подробнее о тезисах выступления — на сайте
Подписывайтесь:
