Notice: file_put_contents(): Write of 17702 bytes failed with errno=28 No space left on device in /var/www/tgoop/post.php on line 50 Not Boring Tech@notboring_tech P.3448
🔥 Google представили Transformers 2.0 — это новая архитектура Titans, которая может стать главным двигателем прогресса LLM в 2025 году.
Краткий пересказ огромного исследования:
• Проблема: трансформеры обрабатывают ограниченный объем контекста, часто забывают его части и отвлекаются на неважные детали. • Решение: архитектураTitans с тремя типами памяти! 1. Краткосрочная память — для обработки инфы сейчас; 2. Долгосрочная память — для хранения важной инфы из прошлого; 3. Постоянная память — для хранения текущего запроса. • Titans работает как человеческий мозг — забывает неактуальную инфу, а в долгосрочную память кладёт только самое важное. • Результат: Titans запоминает контекст длиной больше 2 миллионов токенов! Можно загрузить три полных версии романа «Война и мир» за раз — больше, чем у любых существующих нейронок.
🔥 Google представили Transformers 2.0 — это новая архитектура Titans, которая может стать главным двигателем прогресса LLM в 2025 году.
Краткий пересказ огромного исследования:
• Проблема: трансформеры обрабатывают ограниченный объем контекста, часто забывают его части и отвлекаются на неважные детали. • Решение: архитектураTitans с тремя типами памяти! 1. Краткосрочная память — для обработки инфы сейчас; 2. Долгосрочная память — для хранения важной инфы из прошлого; 3. Постоянная память — для хранения текущего запроса. • Titans работает как человеческий мозг — забывает неактуальную инфу, а в долгосрочную память кладёт только самое важное. • Результат: Titans запоминает контекст длиной больше 2 миллионов токенов! Можно загрузить три полных версии романа «Война и мир» за раз — больше, чем у любых существующих нейронок.
Each account can create up to 10 public channels For crypto enthusiasts, there was the “gm” app, a self-described “meme app” which only allowed users to greet each other with “gm,” or “good morning,” a common acronym thrown around on Crypto Twitter and Discord. But the gm app was shut down back in September after a hacker reportedly gained access to user data. The channel also called on people to turn out for illegal assemblies and listed the things that participants should bring along with them, showing prior planning was in the works for riots. The messages also incited people to hurl toxic gas bombs at police and MTR stations, he added. The court said the defendant had also incited people to commit public nuisance, with messages calling on them to take part in rallies and demonstrations including at Hong Kong International Airport, to block roads and to paralyse the public transportation system. Various forms of protest promoted on the messaging platform included general strikes, lunchtime protests and silent sit-ins. Users are more open to new information on workdays rather than weekends.
from us
