если кто то убеждает вас что рл хорошо работает и с ним нет проблем, то скорее всего он не занимается рлем
джейсон стетхэм
Большой китайский пост про проблемы при обучении с RLем, особенности генерации траекторий на VLLM и том как сильно траектории могут отличатся от переключения разных настроек инференса.
+ предлагают разные варианты досэмпла токенов чтобы стабилизировать численные проблемы
https://yingru.notion.site/When-Speed-Kills-Stability-Demystifying-RL-Collapse-from-the-Training-Inference-Mismatch-271211a558b7808d8b12d403fd15edda
🔥31👍11
#промо #промо #промо
⚪️ White Circle
Всем привет, мы делаем лучшую AI safety платформу, чтобы модельки не делали rm -rf без вашего ведома
Про нас:
- Подняли 💸 $10m 💸, инвесторы — топы OpenAI, Anthropic, Deepmind, Mistral, HuggingFace, etc
- Команда из 10 человек с офисом в самом центре Парижа
- Обрабатываем десятки миллионов API запросов в месяц
-🍴 100-500к USD
Вакансии:
1. AI Engineer
MoE, multimodality (audio / images), Megatron, distributed training, Triton, agents(redteaming)
📨 CV → https://forms.gle/XysjrjHgxiRicGsb6
⚪️ White Circle
Всем привет, мы делаем лучшую AI safety платформу, чтобы модельки не делали rm -rf без вашего ведома
Про нас:
- Подняли 💸 $10m 💸, инвесторы — топы OpenAI, Anthropic, Deepmind, Mistral, HuggingFace, etc
- Команда из 10 человек с офисом в самом центре Парижа
- Обрабатываем десятки миллионов API запросов в месяц
-
Вакансии:
1. AI Engineer
MoE, multimodality (audio / images), Megatron, distributed training, Triton, agents(redteaming)
📨 CV → https://forms.gle/XysjrjHgxiRicGsb6
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁50💩19😐5❤🔥3🥴1
Алекс Гордич продолжает разбирать основы современного ллм инференса - в этот раз про matmul на картах nvidia и его особенности
aleksagordic.com/blog/matmul
aleksagordic.com/blog/matmul
🔥58👍9
Пост для любителей обучать нейросети на работе, после работы, вместо работы, на выходных, в отпуске, с женой или вместо жены.
На прошлой неделе стартовал Wunder RNN Challenge — соревнование по нейронкам от HFT-фонда Wunder Fund.
Участникам предстоит создать модель, предсказывающую следующее состояние рынка на основе последовательности предыдущих состояний. Именно с такими задачами каждый день работают кванты.
Когда
15 сентября — 1 декабря
Призовой фонд
$13,600
Вы будете работать с реальными биржевыми данными.
Победители получат денежные призы, возможность пообщаться с нашими квантами, а главное — утонченное интеллектуальное удовлетворение от решения сложной задачи.
Wunder Fund с 2014 года занимается HFT, высокочастотным алгоритмическим трейдингом. Мы торгуем на многих биржах по всему миру — как традиционных, так и криптовалютных. Наш дневной торговый оборот превышает $10 млрд.
>_ Участвовать
На прошлой неделе стартовал Wunder RNN Challenge — соревнование по нейронкам от HFT-фонда Wunder Fund.
Участникам предстоит создать модель, предсказывающую следующее состояние рынка на основе последовательности предыдущих состояний. Именно с такими задачами каждый день работают кванты.
Когда
15 сентября — 1 декабря
Призовой фонд
$13,600
Вы будете работать с реальными биржевыми данными.
Победители получат денежные призы, возможность пообщаться с нашими квантами, а главное — утонченное интеллектуальное удовлетворение от решения сложной задачи.
Wunder Fund с 2014 года занимается HFT, высокочастотным алгоритмическим трейдингом. Мы торгуем на многих биржах по всему миру — как традиционных, так и криптовалютных. Наш дневной торговый оборот превышает $10 млрд.
>_ Участвовать
😁36💩19🥱5🔥3🤔2🥴2
>In this study, we introduce a novel approach for stable and accurate training of large language models (LLMs) using the NVFP4 format.
>Ablations on the 12B model trained for 10T tokens. Ablation studies start from the model
trained up to 3.43T tokens using NVFP4 except in the first two and last eight blocks, and systematically
remove one methodology component at a time: stochastic rounding (SR), Random Hadamard Transforms
(RHT), two-dimensional scaling (2D), and fewer blocks in BF16. Relative difference is defined as (FP8 -
experiment) / FP8, where a negative difference means the experiment is worse.
https://arxiv.org/pdf/2509.25149
>Ablations on the 12B model trained for 10T tokens. Ablation studies start from the model
trained up to 3.43T tokens using NVFP4 except in the first two and last eight blocks, and systematically
remove one methodology component at a time: stochastic rounding (SR), Random Hadamard Transforms
(RHT), two-dimensional scaling (2D), and fewer blocks in BF16. Relative difference is defined as (FP8 -
experiment) / FP8, where a negative difference means the experiment is worse.
https://arxiv.org/pdf/2509.25149
👍14😁6❤🔥3🤔3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Охуеть у sora2 синие артифакты вае в черепике... (См ноги)
- свой нейротикток
- звук вместе с видео генерят
Интересно опять релиз через год?
трансляция
- свой нейротикток
- звук вместе с видео генерят
Интересно опять релиз через год?
трансляция
🥱32🗿11👍4🤔2
Forwarded from GigaDev — разработка GigaChat
🚀 Обновление Giga-Embeddings: лидер ruMTEB и открытая лицензия
Мы выпускаем обновление Giga-Embeddings — 3B модель для преобразования текста в семантические векторы. Идеально для RAG, поиска и кластеризации.
📈 Метрики #1 в ruMTEB (74.1) — уверенный отрыв среди open-source.
🧩 Зачем это вам
• Надёжный RAG без галлюцинаций: точнее извлекает факты из базы.
• Поиск по документам и тикетам, FAQ-боты, дубликаты/кластеризация.
• Быстрый старт в проде: свободная лицензия, коммерческое использование разрешено.
⚙️ Как попробовать за 60 секунд
📚 Полезные ссылки:
• GitVerse
• HF
Мы выпускаем обновление Giga-Embeddings — 3B модель для преобразования текста в семантические векторы. Идеально для RAG, поиска и кластеризации.
📈 Метрики #1 в ruMTEB (74.1) — уверенный отрыв среди open-source.
🧩 Зачем это вам
• Надёжный RAG без галлюцинаций: точнее извлекает факты из базы.
• Поиск по документам и тикетам, FAQ-боты, дубликаты/кластеризация.
• Быстрый старт в проде: свободная лицензия, коммерческое использование разрешено.
⚙️ Как попробовать за 60 секунд
# pip install sentence-transformers
from sentence_transformers import SentenceTransformer
m = SentenceTransformer(
"ai-sage/Giga-Embeddings-instruct",
model_kwargs={"trust_remote_code": "True"},
config_kwargs={"trust_remote_code": "True"}
)
emb = m.encode([
"Как настроить доступ к базе знаний?",
"Инструкция по онбордингу саппорта",
])
print(emb.shape) # (2, D)
📚 Полезные ссылки:
• GitVerse
• HF
👍45🤷15🍓10💩4💋3🔥2🎉1😘1
This media is not supported in your browser
VIEW IN TELEGRAM
интернет вымрет на недели две от этого нейрослопа
😁176
Love. Death. Transformers.
Охуеть у sora2 синие артифакты вае в черепике... (См ноги) - свой нейротикток - звук вместе с видео генерят Интересно опять релиз через год? трансляция
Позиция по sora2
- это не совсем sota. Ну точнее так - как и gpt5 это массовый продукт и при акценте на массовость я имею ввиду сотни миллионов юзеров
- это очень быстрая и явно дешевая для oai модель и цена генерации в апи я ожидаю в пределах 1cent/s
- это не совсем sota. Ну точнее так - как и gpt5 это массовый продукт и при акценте на массовость я имею ввиду сотни миллионов юзеров
- это очень быстрая и явно дешевая для oai модель и цена генерации в апи я ожидаю в пределах 1cent/s
🥴32👍11🤔6🥱2
#промо #промо #промо
⚪️ White Circle
Всем привет, мы делаем лучшую AI safety платформу, чтобы модельки не делали rm -rf без вашего ведома
Про нас:
- Подняли 💸 $10m 💸, инвесторы — топы OpenAI, Anthropic, Deepmind, Mistral, HuggingFace, etc
- Команда из 10 человек с офисом в самом центре Парижа
- Обрабатываем десятки миллионов API запросов в месяц
-🍴 100-180к USD
Вакансии:
1. FullStack Engineer
Typescript, React, Nextjs, Nodejs, Tailwind, GraphQL, ClickHouse
2. AI Engineer
MoE, multimodality (audio / images), Megatron, distributed training, Triton
3. AI Engineer
Redteaming, agents, rlhf - если у вас нет опыта на mle, но есть опыт swe и построения всякого промптового - позиция для вас
📨 CV → https://forms.gle/XysjrjHgxiRicGsb6
⚪️ White Circle
Всем привет, мы делаем лучшую AI safety платформу, чтобы модельки не делали rm -rf без вашего ведома
Про нас:
- Подняли 💸 $10m 💸, инвесторы — топы OpenAI, Anthropic, Deepmind, Mistral, HuggingFace, etc
- Команда из 10 человек с офисом в самом центре Парижа
- Обрабатываем десятки миллионов API запросов в месяц
-
Вакансии:
1. FullStack Engineer
Typescript, React, Nextjs, Nodejs, Tailwind, GraphQL, ClickHouse
2. AI Engineer
MoE, multimodality (audio / images), Megatron, distributed training, Triton
3. AI Engineer
Redteaming, agents, rlhf - если у вас нет опыта на mle, но есть опыт swe и построения всякого промптового - позиция для вас
📨 CV → https://forms.gle/XysjrjHgxiRicGsb6
Please open Telegram to view this post
VIEW IN TELEGRAM
😁37🥱27🥴7💩4❤🔥3👏2💋1
Forwarded from russiansinlondon
@realnoevremya - и все прочие. По поводу вашей новой статьи
Хочу обратить внимание, что пришлось обратиться к иностранным специалистам потому что местные - включая Анну Слащеву - не дали ни одного адекватного аргумента ПОЧЕМУ Юми Каэдэ ненастоящая и не нравится.
Простите, мало ли чья роже мне не нравится? Нужно обосновать. Желательно фактами. Хотя бы косвенными, или сравнениями.
Детальный разбор этих фактов делала автор статьи @kamisamsa - берите комментарии у нее, а у не востоковеда Слащевой, которая помимо едких комментариев ничего из себя не могла выжать - но зато как отжимает все возможное от всей прессы, при этом очутившись причастной к ситуации только полу-хамством.
Спасибо - обращайтесь - могу выступить как агент и свести!
Хочу обратить внимание, что пришлось обратиться к иностранным специалистам потому что местные - включая Анну Слащеву - не дали ни одного адекватного аргумента ПОЧЕМУ Юми Каэдэ ненастоящая и не нравится.
Простите, мало ли чья роже мне не нравится? Нужно обосновать. Желательно фактами. Хотя бы косвенными, или сравнениями.
Детальный разбор этих фактов делала автор статьи @kamisamsa - берите комментарии у нее, а у не востоковеда Слащевой, которая помимо едких комментариев ничего из себя не могла выжать - но зато как отжимает все возможное от всей прессы, при этом очутившись причастной к ситуации только полу-хамством.
Спасибо - обращайтесь - могу выступить как агент и свести!
Реальное время
Кручу-верчу, обмануть хочу
Как история с разоблачением несуществующей японской поэтессы XI века привела к дискуссии об этичности литературных мистификаций
💩21🥴7🔥5💊4🤔3🤷3❤🔥1👍1😐1
Forwarded from ебãные идеи для трейдинга
Держать тайный штат голубоглазых бимбочек-славянок из полной семьи, которые будут подкатывать к квантам твоего фонда, чтобы повышать их продуктивность
💯88