Physics.Math.Code

📘 Linear Transformers with Learnable Kernel Functions are Better
In-Context Models, ACL 2024

💾 Скачать исследование

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research представили на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL) новую архитектуру быстрых языковых моделей ReBased. В модели Based, представленной учеными Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения, специалисты T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети. Проведя анализ архитектуры Based, ученые из T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. Ученые также упростили алгоритм выделения текстовой информации. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%.

Новая архитектура, предложенная учеными, позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества.

💡 Physics.Math.Code // @physics_lib

👍75🔥15❤5🗿4⚡1

www.tgoop.com/physics_lib/13259

30.9K viewsedited  Aug 17, 2024 at 16:02

📘 Linear Transformers with Learnable Kernel Functions are Better
In-Context Models, ACL 2024

💾 Скачать исследование

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research представили на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL) новую архитектуру быстрых языковых моделей ReBased. В модели Based, представленной учеными Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения, специалисты T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети. Проведя анализ архитектуры Based, ученые из T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. Ученые также упростили алгоритм выделения текстовой информации. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%.

Новая архитектура, предложенная учеными, позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества.

💡 Physics.Math.Code // @physics_lib

BY Physics.Math.Code