AI LAB | Лаборатория ИИ

0:18

This media is not supported in your browser

VIEW IN TELEGRAM

#unrealneural
Text-to-LoRA

Гиперсеть, которая генерирует адаптеры LLM для конкретных задач (LoRA) на основе текстового описания задачи.

Биологические системы быстро адаптируются к сенсорным изменениям, например, зрение подстраивается под освещение. Современные LLM, несмотря на широкие возможности, плохо адаптируются к специфическим задачам без больших данных и дорогой тонкой настройки. Text-to-LoRA (T2L) решает это, обучая «гиперсеть», которая по текстовому описанию задачи генерирует LoRA-адаптер. T2L эффективно кодирует сотни адаптеров, сохраняя их производительность, и обобщает на новые задачи. Этот метод позволяет нетехническим пользователям адаптировать модели простым языком, снижая вычислительные и технические барьеры.

https://github.com/SakanaAI/Text-to-Lora

www.tgoop.com/unrealneural/1590

208 viewsАртур Ишмаев, Jun 12 at 04:47

#unrealneural
Text-to-LoRA

Гиперсеть, которая генерирует адаптеры LLM для конкретных задач (LoRA) на основе текстового описания задачи.

Биологические системы быстро адаптируются к сенсорным изменениям, например, зрение подстраивается под освещение. Современные LLM, несмотря на широкие возможности, плохо адаптируются к специфическим задачам без больших данных и дорогой тонкой настройки. Text-to-LoRA (T2L) решает это, обучая «гиперсеть», которая по текстовому описанию задачи генерирует LoRA-адаптер. T2L эффективно кодирует сотни адаптеров, сохраняя их производительность, и обобщает на новые задачи. Этот метод позволяет нетехническим пользователям адаптировать модели простым языком, снижая вычислительные и технические барьеры.

https://github.com/SakanaAI/Text-to-Lora

BY AI LAB | Лаборатория ИИ