tgoop.com/andrey_kiselnikov/1084
Last Update:
Очень интересная статья, показывающая, что если мы зададим для внутренних репрезентаций языковой модели двумерное пространство, то после обучения репрезентации расположатся в нём "мозгоподобным" образом – как в корковой системе обработки языка!
Нейроны в мозге организованы пространственно таким образом, что соседние участки ткани часто демонстрируют схожие профили ответов. В человеческой языковой системе экспериментальные исследования выявили кластеры для синтаксических и семантических категорий, однако механизмы, лежащие в основе этой функциональной организации, остаются неясными. В данной работе, опираясь на результаты исследований в области зрительного восприятия, мы разработали "TopoLM" — трансформерную языковую модель с эксплицитным двумерным пространственным представлением единиц модели. Комбинируя задачу предсказания следующего токена с функцией потери пространственной гладкости, мы показали, что представления в этой модели формируют кластеры, которые соответствуют семантически интерпретируемым группировкам текста и близко совпадают с функциональной организацией языковой системы мозга. Модель "TopoLM" успешно предсказывает возникновение пространственно-функциональной организации корковой языковой системы, а также организацию функциональных кластеров, избирательно реагирующих на тонкие лингвистические характеристики, эмпирически наблюдаемые в коре. Наши результаты указывают на то, что функциональная организация человеческой языковой системы определяется единым пространственным критерием и предоставляют функционально и топологически согласованную модель языковой обработки в мозге.
https://arxiv.org/abs/2410.11516
BY Новости психофизиологии
Share with your friend now:
tgoop.com/andrey_kiselnikov/1084