Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

📄 А это подборка интересных свежих статей по машинному обучению

🔹Were RNNs All We Needed?
Авторы статьи упоминают проблемы трансформеров в работе с длинными последовательностями. Из-за этих ограничений уже возобновился интерес к рекуррентным нейросетям, которые можно параллелизировать во время обучения.

🔹U-shaped and Inverted-U Scaling behind Emergent Abilities of Large Language Models
Авторы показывают, что производительность моделей в некоторых задачах сначала остаётся на одном уровне, а затем резко улучшается после достижения определённого масштаба.

🔹Training Language Models to Self-Correct via Reinforcement Learning
Авторы предлагают новый подход для самокоррекции LLM, называемый SCoRe, который использует многократное обучение с подкреплением (RL) в онлайн-режиме.

🔹AI-accelerated Nazca survey nearly doubles the number of known figurative geoglyphs and sheds light on their purpose
Статья о поиске новых геоглифов Наска с помощью компьютерного зрения.

👍3

www.tgoop.com/dsproglib/5568

2.53K viewsOct 4, 2024 at 18:03

📄 А это подборка интересных свежих статей по машинному обучению

🔹Were RNNs All We Needed?
Авторы статьи упоминают проблемы трансформеров в работе с длинными последовательностями. Из-за этих ограничений уже возобновился интерес к рекуррентным нейросетям, которые можно параллелизировать во время обучения.

🔹U-shaped and Inverted-U Scaling behind Emergent Abilities of Large Language Models
Авторы показывают, что производительность моделей в некоторых задачах сначала остаётся на одном уровне, а затем резко улучшается после достижения определённого масштаба.

🔹Training Language Models to Self-Correct via Reinforcement Learning
Авторы предлагают новый подход для самокоррекции LLM, называемый SCoRe, который использует многократное обучение с подкреплением (RL) в онлайн-режиме.

🔹AI-accelerated Nazca survey nearly doubles the number of known figurative geoglyphs and sheds light on their purpose
Статья о поиске новых геоглифов Наска с помощью компьютерного зрения.

BY Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение