DL in NLP@dlinnlp P.1578

Notice: file_put_contents(): Write of 9804 bytes failed with errno=28 No space left on device in /var/www/tgoop/post.php on line 50

Warning: file_put_contents(): Only 8192 of 17996 bytes written, possibly out of free disk space in /var/www/tgoop/post.php on line 50
DL in NLP@dlinnlp P.1578

DLINNLP Telegram 1578

Слухи о гиганской языковой модели от Google
twitter.com/o42nl/status/1642204593206509568

Гонка ~~вооружений~~ языковых моделей в самом разгаре и понятно что гугл один из первых кто в неё включился: у них очень сильная рисеч команда, свой уникальный hardware который уже проверен at scale - TPU Pod. Ну и ещё бизнес гугла реально может быть под угрозой - ChatGPT и бинг уже немного его подъели.

Суть слуха:
1. Тридцать триллионов параметров - в 170 раз больше GPT-3
1. Архитектура основана на PALM - FFN и Attention параллельны друг другу, что позволяет проще скейлиться на большое число TPU
1. Тренируется на восьми TPUv4 Pods - в сумме 16 тысяч TPU-чипов
1. Использует некую новую форму scaling law, что насекает на серьезные изменения в архитектуре - скорее всего MoE, но может быть и ещё что-то
1. Мультимодальность - текст, картинки, видео, аудио, и векторы состояния роботов

Модель будет анонсирована на Google I/O в Мае

И все это первоапрельская шутка на которую я попался 😂

🖕92😁43🤡32👍8😢4❤3🤮3

www.tgoop.com/dlinnlp/1578

5.56K viewsVlad Lialin, edited Apr 2, 2023 at 22:06

tgoop.com/dlinnlp/1578

Create: 2023-04-02
Last Update: 2025-07-31 00:54:55

Слухи о гиганской языковой модели от Google
twitter.com/o42nl/status/1642204593206509568

Гонка ~~вооружений~~ языковых моделей в самом разгаре и понятно что гугл один из первых кто в неё включился: у них очень сильная рисеч команда, свой уникальный hardware который уже проверен at scale - TPU Pod. Ну и ещё бизнес гугла реально может быть под угрозой - ChatGPT и бинг уже немного его подъели.

Суть слуха:
1. Тридцать триллионов параметров - в 170 раз больше GPT-3
1. Архитектура основана на PALM - FFN и Attention параллельны друг другу, что позволяет проще скейлиться на большое число TPU
1. Тренируется на восьми TPUv4 Pods - в сумме 16 тысяч TPU-чипов
1. Использует некую новую форму scaling law, что насекает на серьезные изменения в архитектуре - скорее всего MoE, но может быть и ещё что-то
1. Мультимодальность - текст, картинки, видео, аудио, и векторы состояния роботов

Модель будет анонсирована на Google I/O в Мае

И все это первоапрельская шутка на которую я попался 😂

BY DL in NLP

Share with your friend now:
tgoop.com/dlinnlp/1578

Open in Telegram

Telegram News

Date: 2025-07-31|

The main design elements of your Telegram channel include a name, bio (brief description), and avatar. Your bio should be: While some crypto traders move toward screaming as a coping mechanism, many mental health experts have argued that “scream therapy” is pseudoscience. Scientific research or no, it obviously feels good. Don’t publish new content at nighttime. Since not all users disable notifications for the night, you risk inadvertently disturbing them. SUCK Channel Telegram End-to-end encryption is an important feature in messaging, as it's the first step in protecting users from surveillance.
from us

Telegram DL in NLP
FROM American