NLP Wanderer

🔥 Сегодня вышла моя первая статья на Хабр, как мы в Tochka AI сделали новые, улучшенные русскоязычные трансформеры с длинным контекстом.

Если кратко: в основе метода внедрение Rotary Embeddings в архитектуру и дистиляция (клонирование оригинальных моделей). Всего мы выпустили 4 разных модели для разных задач (sentence и word embeddings) и размеров контекста (до 2к токенов).

В итоге мы добились топ 1 по скору S+W на бенчмарке encodechka. И кроме того, мы внедрили FlashAttention из Pytorch и ускороили инференс и тренировку в несколько раз!

Веса всех моделей, их код и инструкции по запуску доступны в нашем аккаунте на HuggingFace 🤗

Классические берты с большим русским словарем токенов (идеально для NER и подобных задач):
Tochka-AI/ruRoPEBert-classic-base-512
Tochka-AI/ruRoPEBert-classic-base-2k

Sentence берты, с руссифицированным словарем от e5 (лидеры на encodechka):
Tochka-AI/ruRoPEBert-e5-base-512
Tochka-AI/ruRoPEBert-e5-base-2k

Больше подробностей вас ждут в статье по ссылке 💫

Please open Telegram to view this post

VIEW IN TELEGRAM

Хабр

Контекст больше не предел: Линейка русскоязычных энкодеров ruRoPEBert и как она создавалась

Удлиняем и крутим - RoPEBert Привет, Хабр! Если вы интересуетесь NLP или просто современными DL моделями, то приглашаю вас узнать, как можно, имея всего лишь одну A100, около 30 гигабайтов текста и...

🔥22👍3

www.tgoop.com/nlpwanderer/31

2.1K viewsedited  Mar 11, 2024 at 13:24

🔥 Сегодня вышла моя первая статья на Хабр, как мы в Tochka AI сделали новые, улучшенные русскоязычные трансформеры с длинным контекстом.

Если кратко: в основе метода внедрение Rotary Embeddings в архитектуру и дистиляция (клонирование оригинальных моделей). Всего мы выпустили 4 разных модели для разных задач (sentence и word embeddings) и размеров контекста (до 2к токенов).

В итоге мы добились топ 1 по скору S+W на бенчмарке encodechka. И кроме того, мы внедрили FlashAttention из Pytorch и ускороили инференс и тренировку в несколько раз!

Веса всех моделей, их код и инструкции по запуску доступны в нашем аккаунте на HuggingFace 🤗

Классические берты с большим русским словарем токенов (идеально для NER и подобных задач):
Tochka-AI/ruRoPEBert-classic-base-512
Tochka-AI/ruRoPEBert-classic-base-2k

Sentence берты, с руссифицированным словарем от e5 (лидеры на encodechka):
Tochka-AI/ruRoPEBert-e5-base-512
Tochka-AI/ruRoPEBert-e5-base-2k

Больше подробностей вас ждут в статье по ссылке 💫