Привет, друзья!
Наконец дописала туториал по Логит-линзе — методу для анализа внутренних представлений (Logit Lens).
Метод был предложен на Lessworng в 2020 году на примере модели GPT-2.
Сама по себе линза является достаточно сложным методом в реализации — под каждую модель необходимо проектировать идею её построения заново, основываясь на анализе архитектуры. Но какая же она забавная!
И у метода есть преимущество:
Метод является model-specific, что позволяет изучать характеры поведения скрытых представлений в разных моделях.
Как они соотносятся? Быть может, именно вы сможете найти что-то интересное и я надеюсь, этот туториал вас вдохновит!
В результате практики, вы:
1. Изучите подход и концепцию Logit Lens;
2. Реализуете Logit Lens для Visual Transformer;
3. Познакомитесь с анализом результатов применения логит-линзы.
Как всегда, весь код на гитхаб — step by step, статья на Хабр!
Чудесного вам вечера и легкого старта в рабочую неделю,
Ваш Дата-автор!
Наконец дописала туториал по Логит-линзе — методу для анализа внутренних представлений (Logit Lens).
Метод был предложен на Lessworng в 2020 году на примере модели GPT-2.
Сама по себе линза является достаточно сложным методом в реализации — под каждую модель необходимо проектировать идею её построения заново, основываясь на анализе архитектуры. Но какая же она забавная!
И у метода есть преимущество:
Метод является model-specific, что позволяет изучать характеры поведения скрытых представлений в разных моделях.
Как они соотносятся? Быть может, именно вы сможете найти что-то интересное и я надеюсь, этот туториал вас вдохновит!
В результате практики, вы:
1. Изучите подход и концепцию Logit Lens;
2. Реализуете Logit Lens для Visual Transformer;
3. Познакомитесь с анализом результатов применения логит-линзы.
Как всегда, весь код на гитхаб — step by step, статья на Хабр!
Чудесного вам вечера и легкого старта в рабочую неделю,
Ваш Дата-автор!
❤11🔥6👍1
tgoop.com/jdata_blog/385
Create:
Last Update:
Last Update:
Привет, друзья!
Наконец дописала туториал по Логит-линзе — методу для анализа внутренних представлений (Logit Lens).
Метод был предложен на Lessworng в 2020 году на примере модели GPT-2.
Сама по себе линза является достаточно сложным методом в реализации — под каждую модель необходимо проектировать идею её построения заново, основываясь на анализе архитектуры. Но какая же она забавная!
И у метода есть преимущество:
Метод является model-specific, что позволяет изучать характеры поведения скрытых представлений в разных моделях.
Как они соотносятся? Быть может, именно вы сможете найти что-то интересное и я надеюсь, этот туториал вас вдохновит!
В результате практики, вы:
1. Изучите подход и концепцию Logit Lens;
2. Реализуете Logit Lens для Visual Transformer;
3. Познакомитесь с анализом результатов применения логит-линзы.
Как всегда, весь код на гитхаб — step by step, статья на Хабр!
Чудесного вам вечера и легкого старта в рабочую неделю,
Ваш Дата-автор!
Наконец дописала туториал по Логит-линзе — методу для анализа внутренних представлений (Logit Lens).
Метод был предложен на Lessworng в 2020 году на примере модели GPT-2.
Сама по себе линза является достаточно сложным методом в реализации — под каждую модель необходимо проектировать идею её построения заново, основываясь на анализе архитектуры. Но какая же она забавная!
И у метода есть преимущество:
Метод является model-specific, что позволяет изучать характеры поведения скрытых представлений в разных моделях.
Как они соотносятся? Быть может, именно вы сможете найти что-то интересное и я надеюсь, этот туториал вас вдохновит!
В результате практики, вы:
1. Изучите подход и концепцию Logit Lens;
2. Реализуете Logit Lens для Visual Transformer;
3. Познакомитесь с анализом результатов применения логит-линзы.
Как всегда, весь код на гитхаб — step by step, статья на Хабр!
Чудесного вам вечера и легкого старта в рабочую неделю,
Ваш Дата-автор!
BY Data Blog
Share with your friend now:
tgoop.com/jdata_blog/385