Машиннное обучение | Наука о данных Библиотека

🔧 LoRA или полный fine-tuning?

LoRA — это способ дообучать модели быстрее и дешевле. Вопрос в том, насколько результаты хуже, чем при полном fine-tuning.

📊 Оказалось, что во многих задачах качество почти одинаковое — разрыв меньше, чем многие думают.

В блоге Connectionism показали эксперименты и дали практические советы, когда стоит выбрать LoRA.

https://thinkingmachines.ai/blog/lora/

❤8👍4🔥2

www.tgoop.com/machinelearning_books/1192

1.47K viewsSep 30 at 09:26

🔧 LoRA или полный fine-tuning?

LoRA — это способ дообучать модели быстрее и дешевле. Вопрос в том, насколько результаты хуже, чем при полном fine-tuning.

📊 Оказалось, что во многих задачах качество почти одинаковое — разрыв меньше, чем многие думают.

В блоге Connectionism показали эксперименты и дали практические советы, когда стоит выбрать LoRA.

https://thinkingmachines.ai/blog/lora/

BY Машиннное обучение | Наука о данных Библиотека