gonzo-обзоры ML статей
Новую архитектуру подвезли! ‘Dragon Hatchling’ (BDH) построена на принципах распределённых графовых моделей мозга, при этом есть GPU-friendly имплементация. Выглядит очень интересно и демонстрирует свойства, характерные для биологических систем. https:/…
Посттрансформерность BDH
Архитектура BDH выходит за рамки трансформеров, заменяя их централизованный механизм attention на локальные графовые сети, где нейроны, как в мозге, динамично меняют связи по правилу Хебба * ("neurons that fire together, wire together"). Это позволяет BDH лучше обобщать и "помнить" долгосрочные контексты, чего трансформеры не могут из-за фиксированного окна внимания. Модель формирует модульную структуру сама, без ручного дизайна, и показывает биологические свойства, вроде устойчивости и адаптации. BDH сохраняет производительность трансформеров (обходит GPT-2), но работает на GPU через упрощения, делая её практичной.
Сделан шаг к автономным, мозгоподобным AI, способным к гибкому и интерпретируемому рассуждению.
* Правило Хебба гласит, что нейроны, которые активируются одновременно, усиливают свои связи, формируя основу для обучения и памяти в мозгоподобных системах, таких как BDH.
Архитектура BDH выходит за рамки трансформеров, заменяя их централизованный механизм attention на локальные графовые сети, где нейроны, как в мозге, динамично меняют связи по правилу Хебба * ("neurons that fire together, wire together"). Это позволяет BDH лучше обобщать и "помнить" долгосрочные контексты, чего трансформеры не могут из-за фиксированного окна внимания. Модель формирует модульную структуру сама, без ручного дизайна, и показывает биологические свойства, вроде устойчивости и адаптации. BDH сохраняет производительность трансформеров (обходит GPT-2), но работает на GPU через упрощения, делая её практичной.
Сделан шаг к автономным, мозгоподобным AI, способным к гибкому и интерпретируемому рассуждению.
* Правило Хебба гласит, что нейроны, которые активируются одновременно, усиливают свои связи, формируя основу для обучения и памяти в мозгоподобных системах, таких как BDH.
🤔8🤓1
tgoop.com/unrealneural/2129
Create:
Last Update:
Last Update:
Посттрансформерность BDH
Архитектура BDH выходит за рамки трансформеров, заменяя их централизованный механизм attention на локальные графовые сети, где нейроны, как в мозге, динамично меняют связи по правилу Хебба * ("neurons that fire together, wire together"). Это позволяет BDH лучше обобщать и "помнить" долгосрочные контексты, чего трансформеры не могут из-за фиксированного окна внимания. Модель формирует модульную структуру сама, без ручного дизайна, и показывает биологические свойства, вроде устойчивости и адаптации. BDH сохраняет производительность трансформеров (обходит GPT-2), но работает на GPU через упрощения, делая её практичной.
Сделан шаг к автономным, мозгоподобным AI, способным к гибкому и интерпретируемому рассуждению.
* Правило Хебба гласит, что нейроны, которые активируются одновременно, усиливают свои связи, формируя основу для обучения и памяти в мозгоподобных системах, таких как BDH.
Архитектура BDH выходит за рамки трансформеров, заменяя их централизованный механизм attention на локальные графовые сети, где нейроны, как в мозге, динамично меняют связи по правилу Хебба * ("neurons that fire together, wire together"). Это позволяет BDH лучше обобщать и "помнить" долгосрочные контексты, чего трансформеры не могут из-за фиксированного окна внимания. Модель формирует модульную структуру сама, без ручного дизайна, и показывает биологические свойства, вроде устойчивости и адаптации. BDH сохраняет производительность трансформеров (обходит GPT-2), но работает на GPU через упрощения, делая её практичной.
Сделан шаг к автономным, мозгоподобным AI, способным к гибкому и интерпретируемому рассуждению.
* Правило Хебба гласит, что нейроны, которые активируются одновременно, усиливают свои связи, формируя основу для обучения и памяти в мозгоподобных системах, таких как BDH.
BY Лаборатория ИИ | AI LAB
Share with your friend now:
tgoop.com/unrealneural/2129