NLP Core Team@nlpcoreteam P.51

Warning: mkdir(): No space left on device in /var/www/tgoop/post.php on line 37

Warning: file_put_contents(aCache/aDaily/post/nlpcoreteam/--): Failed to open stream: No such file or directory in /var/www/tgoop/post.php on line 50
NLP Core Team@nlpcoreteam P.51

NLPCORETEAM Telegram 51

⚡️ Замеры LLaMA 2 на MMLU

Вчера вышла LLaMA 2, нам было интересно качество претрейн-моделей в русском.

Качество на MMLU выросло в среднем на 7 пунктов, как в английском, так и в русском, у всей линейки претрейн-моделей. Семь пунктов на MMLU впечатляет!

При этом русского языка на претрейне LLaMA 2 было всего 0.13%.

Замеряли кодом который выкладывали ранее. Контекст оставляли 2048 чтобы влезало тоже число few-shot примеров (токенайзер в LLaMA 2 такой же как и был в LLaMA 1).

До чат-моделей пока не добрались, и до 34B пока нет к ней доступа.

www.tgoop.com/nlpcoreteam/51

6.1K viewsAndrei Kalmykov, Jul 19, 2023 at 19:35

tgoop.com/nlpcoreteam/51

Create: 2023-07-19
Last Update: 2025-06-01 14:34:05

⚡️ Замеры LLaMA 2 на MMLU

Вчера вышла LLaMA 2, нам было интересно качество претрейн-моделей в русском.

Качество на MMLU выросло в среднем на 7 пунктов, как в английском, так и в русском, у всей линейки претрейн-моделей. Семь пунктов на MMLU впечатляет!

При этом русского языка на претрейне LLaMA 2 было всего 0.13%.

Замеряли кодом который выкладывали ранее. Контекст оставляли 2048 чтобы влезало тоже число few-shot примеров (токенайзер в LLaMA 2 такой же как и был в LLaMA 1).

До чат-моделей пока не добрались, и до 34B пока нет к ней доступа.

BY NLP Core Team

Share with your friend now:
tgoop.com/nlpcoreteam/51

Open in Telegram

Telegram News

Date: 2025-06-01|

Done! Now you’re the proud owner of a Telegram channel. The next step is to set up and customize your channel. In 2018, Telegram’s audience reached 200 million people, with 500,000 new users joining the messenger every day. It was launched for iOS on 14 August 2013 and Android on 20 October 2013. 1What is Telegram Channels? How to Create a Private or Public Channel on Telegram? “Hey degen, are you stressed? Just let it all out,” he wrote, along with a link to join the group.
from us

Telegram NLP Core Team
FROM American