Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

🧠 Что такое дистилляция знаний?

Дистилляция знаний — это метод передачи знаний от модели-учителя к модели-ученику. В первую очередь, это касается нейросетей.

❓Зачем это нужно?
Представьте, что вы можете улучшить производительность модели, при этом не расходуя огромные ресурсы на сложное обучение. Так, с помощью дистилляции знаний удалось добиться хорошего качества предсказания на ImageNet от ViT без использования дополнительных данных.

✍️ Как это делается?

Один из конкретных способов — Хинтоновская дистилляция знаний. Её суть заключается в следующем: большая заранее обученная модель-учитель выдаёт предсказания, которые служат в качестве новой разметки, а компактная модель-ученик пытается воспроизвести эти предсказания. Таким образом, ученик перенимает не только итоговые ответы, но и более глубокие представления структуры данных.

Примером применения Хинтоновской дистилляции является модель DistilBERT, которая сохраняет 97% качества модели BERT, используя при этом на 40% меньше параметров.

👍11

www.tgoop.com/dsproglib/5965

2.07K viewsJan 12 at 18:08

🧠 Что такое дистилляция знаний?

Дистилляция знаний — это метод передачи знаний от модели-учителя к модели-ученику. В первую очередь, это касается нейросетей.

❓Зачем это нужно?
Представьте, что вы можете улучшить производительность модели, при этом не расходуя огромные ресурсы на сложное обучение. Так, с помощью дистилляции знаний удалось добиться хорошего качества предсказания на ImageNet от ViT без использования дополнительных данных.

✍️ Как это делается?

Один из конкретных способов — Хинтоновская дистилляция знаний. Её суть заключается в следующем: большая заранее обученная модель-учитель выдаёт предсказания, которые служат в качестве новой разметки, а компактная модель-ученик пытается воспроизвести эти предсказания. Таким образом, ученик перенимает не только итоговые ответы, но и более глубокие представления структуры данных.

Примером применения Хинтоновской дистилляции является модель DistilBERT, которая сохраняет 97% качества модели BERT, используя при этом на 40% меньше параметров.

BY Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение