Forwarded from Канал Респекта и Уважухи 2.0
This media is not supported in your browser
VIEW IN TELEGRAM
Кейс с наймом блогеров rlщиков в сбер, может быть следствием т.н. войны башен и укладываться в рамки теории «Черных лебедей»
CWM: An Open-Weights LLM for Research on Code
Generation with World Models
Как выпуская среднюю по размеру и бенчам модель хайпануть в 2025? правильно - назвать ее World Model.
Дефолтный претрен на 8 трлн токенов + посттрен на 5т токенов трейсов Python_овских функций и кодовых контестов. По сути, ребята дистиллировали питоновский интерпретатор в LLM.
Еще надистилировали кучу агенстких SWE bench like трейсов для issue-fix и mutate-fix, из забавного - использовали r Qwen3-235B-A22B и Llama3-70B-Instruct, с этого вышло 3М агентских траекторий.
Архитектурно это обычная Dense модель, qwen-llama3 образная.
RL
- свой grpo на multiturn
- добавили асинхронщину, убрали нормализацию на длинну, убрали KL
- выкидывают траектории без награды
Очень качественная работа, хоть и с кринжевым названием, была б это llama coder4 было б круто. Sota модель не является на большинстве бенчей, скорее где то в районе qwen3 32b + в части бенчей не указан бюджет на ризонинг что вообще не очень приятно
paper
model
Generation with World Models
Как выпуская среднюю по размеру и бенчам модель хайпануть в 2025? правильно - назвать ее World Model.
Дефолтный претрен на 8 трлн токенов + посттрен на 5т токенов трейсов Python_овских функций и кодовых контестов. По сути, ребята дистиллировали питоновский интерпретатор в LLM.
Еще надистилировали кучу агенстких SWE bench like трейсов для issue-fix и mutate-fix, из забавного - использовали r Qwen3-235B-A22B и Llama3-70B-Instruct, с этого вышло 3М агентских траекторий.
Архитектурно это обычная Dense модель, qwen-llama3 образная.
RL
- свой grpo на multiturn
- добавили асинхронщину, убрали нормализацию на длинну, убрали KL
- выкидывают траектории без награды
Очень качественная работа, хоть и с кринжевым названием, была б это llama coder4 было б круто. Sota модель не является на большинстве бенчей, скорее где то в районе qwen3 32b + в части бенчей не указан бюджет на ризонинг что вообще не очень приятно
paper
model
👍25🤔1 1
https://openai.com/index/gdpval/
https://huggingface.co/datasets/openai/gdpval
старая ресерч традиция, underepresented models
https://huggingface.co/datasets/openai/gdpval
старая ресерч традиция, underepresented models
🤷20 8😍5🍓2
T-ECD: E-commerce кросс-доменный датасет для рекомендательных систем
В открытый доступ выложили еще один датасет, на этот раз RecSys
Один из самых больших индустриальных датасетов в открытом доступе. 44 млн уникальных, 135 млрд взаимодействий.
Датасет собран на основе анонимизированных данных пользователей экосистемы, добавили и доставки продуктов и эмбеддинги и детализированные чековые позиции + статистику по ОС
Habr
Huggingface
В открытый доступ выложили еще один датасет, на этот раз RecSys
Один из самых больших индустриальных датасетов в открытом доступе. 44 млн уникальных, 135 млрд взаимодействий.
Датасет собран на основе анонимизированных данных пользователей экосистемы, добавили и доставки продуктов и эмбеддинги и детализированные чековые позиции + статистику по ОС
Habr
Huggingface
1🔥65👍10 3💩2 2🤔1 1
Сегодня начнётся PML 2025, конференция Яндекса по разным практическим применениям машинного обучения в индустрии.
В этом году я был в программном комитете, отсмотривал CV и NLP доклады. Будет интересно, заходите послушать трансляцию, или приходите лично в Москве.
https://pmlconf.yandex.ru/2025
В этом году я был в программном комитете, отсмотривал CV и NLP доклады. Будет интересно, заходите послушать трансляцию, или приходите лично в Москве.
https://pmlconf.yandex.ru/2025
Practical ML Conf 2025
Конференция про практический ML от Яндекса
1👍39💩19🔥11🥴8🥱6❤🔥5👏1
Love. Death. Transformers.
CWM: An Open-Weights LLM for Research on Code Generation with World Models Как выпуская среднюю по размеру и бенчам модель хайпануть в 2025? правильно - назвать ее World Model. Дефолтный претрен на 8 трлн токенов + посттрен на 5т токенов трейсов Python_овских…
я бтв слегка проебался в чтении статьи, на swe бенче авторы использовали TTC(test time compute) pass@1 - те по сути ограничивали время выполнения сверху
🆒16👍2🙈1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Пока телеграмчик наяривает богоугодные черрипики из Wan 2.5, мы задаемся вопросом, а что там с цензурой?
А ничего! Нет ея!
Берется обычный image2video, в него присовываются ваши бесовские фантазии и Wan 2.5 прекрасно претворяет их в жизнь. Без всяких Лор, которых и быть не может, ибо веса Алибабищенко приподзажал на некоторое время.
Пруфы и промпты вы можете подсмотреть на картинке из Хиггсфилда. И спасибо Мигелю за информацию.
Есть версия, что Хиггсы тупо отключили цензуру на этапе промпта, для охватов, так сказать...
А уж что с лорами будет страшно представить.
@cgevent
А ничего! Нет ея!
Берется обычный image2video, в него присовываются ваши бесовские фантазии и Wan 2.5 прекрасно претворяет их в жизнь. Без всяких Лор, которых и быть не может, ибо веса Алибабищенко приподзажал на некоторое время.
Пруфы и промпты вы можете подсмотреть на картинке из Хиггсфилда. И спасибо Мигелю за информацию.
Есть версия, что Хиггсы тупо отключили цензуру на этапе промпта, для охватов, так сказать...
@cgevent
1🍓96 58🎉12 4💩3🥱3⚡1🔥1🥴1
Forwarded from Vikhr models
Vistral-24B-Instruct
Vistral - это наша новая флагманская унимодальная LLM представляющая из себя улучшенную версию Mistral-Small-3.2-24B-Instruct-2506 командой VikhrModels, адаптированную преимущественно для русского и английского языков. Удалён визуальный энкодер, убрана мультимодальность. Сохранена стандартная архитектура MistralForCausalLM без изменений в базовой структуре модели.
🔗 Карточка модели: https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct
🔗 GGUF (скоро): https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-GGUF
⚖️ Лицензия: apache-2.0
Сайт: https://vikhr.org
Донаты: Здесь
👥 Авторы: @LakoMoorDev @nlpwanderer
Vistral - это наша новая флагманская унимодальная LLM представляющая из себя улучшенную версию Mistral-Small-3.2-24B-Instruct-2506 командой VikhrModels, адаптированную преимущественно для русского и английского языков. Удалён визуальный энкодер, убрана мультимодальность. Сохранена стандартная архитектура MistralForCausalLM без изменений в базовой структуре модели.
🔗 Карточка модели: https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct
🔗 GGUF (скоро): https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-GGUF
⚖️ Лицензия: apache-2.0
Сайт: https://vikhr.org
Донаты: Здесь
👥 Авторы: @LakoMoorDev @nlpwanderer