Новости психофизиологии

Недавно на моем спецкурсе «Психофизиология сознания» разбирали со студентами красивую цитату Уильяма Джеймса: «Каждый определенный образ в сознании вымачивается и окрашивается в омывающей его свободно текущей воде. Она приносит ощущение его связей, ближних и дальних, умирающее эхо оттуда, откуда он пришел к нам, зарождающееся чувство, куда он приведет нас». Эта выразительная метафора помогает уловить ключевой атрибут сознания, отрефлексированный великим Джеймсом еще в конце XIX века: динамическая ткань «потока сознания» принципиально целостна в пространственном и временном аспекте, обладает принципиальной внутренней связностью. Конечно, этот атрибут мало говорит о природе квалиа, т.е. о сути сознания, но он очень важен для описания механики работы сознания. И вот только что в дискуссиях о возможности искусственного сознания я вычитал интересную мысль. В 2017 году команда Google выпустила знаменитейшую теперь статью «Attention Is All You Need», в который предлагалась основанная на механизме «внимания» новая архитектура ИИ – «трансформер». Это открытие позволило в 2018 году OpenAI выпустить свой первый GPT – «генеративный предобученный трансформер», что дало старт настоящей «революции генеративного ИИ». Специфический механизм «внимания» в архитектуре трансформера устроена так, что токены (их можно аналогизировать с когами в гиперсетевой концепции разума К.В. Анохина) образуют плотную сеть взаимного влияния, в которой токены не просто последовательно воздействуют друга на друга, но участвуют в холистических отношениях «все со всеми» – каждый токен динамически как бы отражает другие токены и сам отражается в них. Есть мнение, что именно архитектура трансформера позволяет создавать такие «холистические сети токенов» лучше других архитектур, и именно эта способность повлияла на такой невероятный практический успех генеративного ИИ.

❤10👍6🔥2🤔2❤‍🔥1⚡1💯1💔1🤝1

www.tgoop.com/andrey_kiselnikov/1077

1.41K viewsNov 3, 2024 at 14:59

Недавно на моем спецкурсе «Психофизиология сознания» разбирали со студентами красивую цитату Уильяма Джеймса: «Каждый определенный образ в сознании вымачивается и окрашивается в омывающей его свободно текущей воде. Она приносит ощущение его связей, ближних и дальних, умирающее эхо оттуда, откуда он пришел к нам, зарождающееся чувство, куда он приведет нас». Эта выразительная метафора помогает уловить ключевой атрибут сознания, отрефлексированный великим Джеймсом еще в конце XIX века: динамическая ткань «потока сознания» принципиально целостна в пространственном и временном аспекте, обладает принципиальной внутренней связностью. Конечно, этот атрибут мало говорит о природе квалиа, т.е. о сути сознания, но он очень важен для описания механики работы сознания. И вот только что в дискуссиях о возможности искусственного сознания я вычитал интересную мысль. В 2017 году команда Google выпустила знаменитейшую теперь статью «Attention Is All You Need», в который предлагалась основанная на механизме «внимания» новая архитектура ИИ – «трансформер». Это открытие позволило в 2018 году OpenAI выпустить свой первый GPT – «генеративный предобученный трансформер», что дало старт настоящей «революции генеративного ИИ». Специфический механизм «внимания» в архитектуре трансформера устроена так, что токены (их можно аналогизировать с когами в гиперсетевой концепции разума К.В. Анохина) образуют плотную сеть взаимного влияния, в которой токены не просто последовательно воздействуют друга на друга, но участвуют в холистических отношениях «все со всеми» – каждый токен динамически как бы отражает другие токены и сам отражается в них. Есть мнение, что именно архитектура трансформера позволяет создавать такие «холистические сети токенов» лучше других архитектур, и именно эта способность повлияла на такой невероятный практический успех генеративного ИИ.

BY Новости психофизиологии