DSPROGLIB Telegram 5965
🧠 Что такое дистилляция знаний?

Дистилляция знаний — это метод передачи знаний от модели-учителя к модели-ученику. В первую очередь, это касается нейросетей.

Зачем это нужно?
Представьте, что вы можете улучшить производительность модели, при этом не расходуя огромные ресурсы на сложное обучение. Так, с помощью дистилляции знаний удалось добиться хорошего качества предсказания на ImageNet от ViT без использования дополнительных данных.

✍️ Как это делается?

Один из конкретных способов — Хинтоновская дистилляция знаний. Её суть заключается в следующем: большая заранее обученная модель-учитель выдаёт предсказания, которые служат в качестве новой разметки, а компактная модель-ученик пытается воспроизвести эти предсказания. Таким образом, ученик перенимает не только итоговые ответы, но и более глубокие представления структуры данных.

Примером применения Хинтоновской дистилляции является модель DistilBERT, которая сохраняет 97% качества модели BERT, используя при этом на 40% меньше параметров.



tgoop.com/dsproglib/5965
Create:
Last Update:

🧠 Что такое дистилляция знаний?

Дистилляция знаний — это метод передачи знаний от модели-учителя к модели-ученику. В первую очередь, это касается нейросетей.

Зачем это нужно?
Представьте, что вы можете улучшить производительность модели, при этом не расходуя огромные ресурсы на сложное обучение. Так, с помощью дистилляции знаний удалось добиться хорошего качества предсказания на ImageNet от ViT без использования дополнительных данных.

✍️ Как это делается?

Один из конкретных способов — Хинтоновская дистилляция знаний. Её суть заключается в следующем: большая заранее обученная модель-учитель выдаёт предсказания, которые служат в качестве новой разметки, а компактная модель-ученик пытается воспроизвести эти предсказания. Таким образом, ученик перенимает не только итоговые ответы, но и более глубокие представления структуры данных.

Примером применения Хинтоновской дистилляции является модель DistilBERT, которая сохраняет 97% качества модели BERT, используя при этом на 40% меньше параметров.

BY Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение




Share with your friend now:
tgoop.com/dsproglib/5965

View MORE
Open in Telegram


Telegram News

Date: |

The optimal dimension of the avatar on Telegram is 512px by 512px, and it’s recommended to use PNG format to deliver an unpixelated avatar. How to Create a Private or Public Channel on Telegram? During the meeting with TSE Minister Edson Fachin, Perekopsky also mentioned the TSE channel on the platform as one of the firm's key success stories. Launched as part of the company's commitments to tackle the spread of fake news in Brazil, the verified channel has attracted more than 184,000 members in less than a month. The creator of the channel becomes its administrator by default. If you need help managing your channel, you can add more administrators from your subscriber base. You can provide each admin with limited or full rights to manage the channel. For example, you can allow an administrator to publish and edit content while withholding the right to add new subscribers. Telegram desktop app: In the upper left corner, click the Menu icon (the one with three lines). Select “New Channel” from the drop-down menu.
from us


Telegram Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
FROM American