Дистилляция знаний из модели DeepSeek-R1. Используя DeepSeek-R1 в качестве учителя, было сгенерировано около 800 тысяч примеров данных, включающих как рассуждения (reasoning), так и не связанные с рассуждениями задачи (например, написание текстов, фактологические вопросы и т.д.). На основе этих данных были дообучены (fine-tuned) несколько меньших моделей, таких как Qwen и Llama, с использованием только SFT, без RL. Это позволило передать способности к рассуждениям от более мощной модели к меньшим. Модели получились топовыми для своих размеров. Например, DeepSeek-R1-Distill-Qwen-7B превзошла GPT-4o и Claude-3.5-Sonnet на математических бенчмарках, а DeepSeek-R1-Distill-Qwen-32B и DeepSeek-R1-Distill-Llama-70B значительно превзошли OpenAI-o1-mini на большинстве тестов.
Интересно, что дообучение с RL дает хуже результаты чем такая дистициляция. В пейпере приводится пример с Qwen 32B. Дообучение на данных сгенерированных DeepSeek-R1 дает значительно лучшие метрики на бенчах. Получается что большая емкая модель DeepSeek-R1 поняла как нужно рассуждать и эти знания легко передать через примеры генераций и дообучении на них моделей меньшей емкости.
Интересно, что дообучение с RL дает хуже результаты чем такая дистициляция. В пейпере приводится пример с Qwen 32B. Дообучение на данных сгенерированных DeepSeek-R1 дает значительно лучшие метрики на бенчах. Получается что большая емкая модель DeepSeek-R1 поняла как нужно рассуждать и эти знания легко передать через примеры генераций и дообучении на них моделей меньшей емкости.
Forwarded from Градиент обреченный (Sergei Averkiev)
This media is not supported in your browser
VIEW IN TELEGRAM
🔺Mercury Coder. Диффузионная LLM для кода
Стартап Inception из Пало-Альто решил поставить на диффузионные LLM и начал выкатывать свои модели. Звучит интересно, потому что каких-то внятных рабочих моделей на диффузии пока не было. Здесь же авторы предлагают доступ по API и установку on-prem, то есть некое готовое изолированное решение, чтобы ваш код не утёк.
Первой моделью стал Mercury Coder — кодовая модель, основным преимуществом которой является скорость генерации, в 5-10 раз быстрее ChatGPT или Claude, около 1000 токенов в секунду на H100.
Вспоминается анекдот про секретаршу, но не все так плохо, на бенчмарках результат между gpt-4o-mini и DeepSeek Coder, а в fill-in-the-middle (генерация в промежутках кода) ожидаемо лучше остальных.
Есть публичное демо. Не забудьте включить переключатель Diffusion Effect.
👉 https://chat.inceptionlabs.ai/
Стартап Inception из Пало-Альто решил поставить на диффузионные LLM и начал выкатывать свои модели. Звучит интересно, потому что каких-то внятных рабочих моделей на диффузии пока не было. Здесь же авторы предлагают доступ по API и установку on-prem, то есть некое готовое изолированное решение, чтобы ваш код не утёк.
Первой моделью стал Mercury Coder — кодовая модель, основным преимуществом которой является скорость генерации, в 5-10 раз быстрее ChatGPT или Claude, около 1000 токенов в секунду на H100.
Вспоминается анекдот про секретаршу, но не все так плохо, на бенчмарках результат между gpt-4o-mini и DeepSeek Coder, а в fill-in-the-middle (генерация в промежутках кода) ожидаемо лучше остальных.
Есть публичное демо. Не забудьте включить переключатель Diffusion Effect.
👉 https://chat.inceptionlabs.ai/
Интересная статья. Возможно вы видели этот пост, но тема показалась мне важная.
Forwarded from Machinelearning
Исследователи из Google Research представили ECLeKTic — новый бенчмарк, предназначенный для оценки способности больших языковых моделей (LLM) переносить знания между языками.
Исследование направлено на выявление того, насколько эффективно модели могут применять информацию, полученную на одном языке, для решения задач на другом.
Бенчмарк включает вопросы, сформулированные на одном языке, ответы на которые содержатся в соответствующих статьях Википедии. Эти вопросы затем переводятся на другие языки, для которых аналогичных статей нет. Таким образом, модели должны демонстрировать способность извлекать и применять знания, отсутствующие в целевом языке.
Оценка моделей: Испытания восьми современных LLM показали, что даже передовые модели испытывают трудности с межъязыковым переносом знаний. Это подчеркивает необходимость дальнейших исследований и улучшений в этой области.
Вместо простых вопросов используются тесты с множественным выбором, где неправильные ответы (дистракторы) специально сделаны очень похожими на правильный и правдоподобными. Чтобы выбрать верный вариант, модели нужно действительно понять нюансы на целевом языке, а не угадывать.
Минимизация "артефактов перевода": Вопросы тщательно создавались экспертами на 10 различных языках (включая арабский, хинди, японский, русский и др.). Они адаптированы культурно и лингвистически так, чтобы стратегия "перевести-решить-перевести обратно" работала плохо.
ECLECTIC – сложный тест: Он выявляет слабости в понимании, которые могут быть не видны на других бенчмарках.
Результаты показывают, что текущим LLM еще предстоит улучшить способность по-настоящему переносить и применять знания между языками.
@ai_machinelearning_big_data
#AI #ml #google #benchmark
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Награда нашла своих героев! 🎉
Юра Куратов и Айдар Булатов были сегодня награждены премией "научный прорыв года в ИИ" на конференции DataFusion. Распирает гордость за ребят!
C ребятами знакомы давно. Совместно делали различные эксперименты. Знаю не понаслышке, как много усилий ребята направляли на свои исследования. Ребята авторы многих работ, которые уже привычно цитирует google и другие (Recurrent Memory Transformer, Scaling Transformer to 1M tokens and beyond with RMT, BABILong и много других) Ребят вы крутые! Поздравляем! Ждем новых топовых работ!
Юра Куратов и Айдар Булатов были сегодня награждены премией "научный прорыв года в ИИ" на конференции DataFusion. Распирает гордость за ребят!
C ребятами знакомы давно. Совместно делали различные эксперименты. Знаю не понаслышке, как много усилий ребята направляли на свои исследования. Ребята авторы многих работ, которые уже привычно цитирует google и другие (Recurrent Memory Transformer, Scaling Transformer to 1M tokens and beyond with RMT, BABILong и много других) Ребят вы крутые! Поздравляем! Ждем новых топовых работ!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
RL не развивает потенциал рассуждений LLM (by Tsinghua)
RL с верифицируемыми наградами (RLVR) — один из самых популярных подходов для прокачки reasoning-способностей современных LLM, вроде OpenAI-o1 и DeepSeek-R1. Считается, что RLVR позволяет модели самой находить новые паттерны рассуждений, отсутствующие в базовой версии.
Но авторы новой статьи из Tsinghua и SJTU решили это перепроверить и получили крайне неожиданный результат: RLVR НЕ создаёт новые стратегии рассуждений.
Когда мало сэмплов (pass@1), то да, RL версии обгоняют base модели. Но если взять pass@128 или pass@256 (много попыток), то уже наоборот, базовые версии стабильно оказываются ЛУЧШЕ, причём существенно!
Причина: RL не создаёт новые паттерны, а лишь усиливает вероятность уже известных решений из базовой модели. При этом резко падает энтропия, а значит, сужается пространство возможных решений.
Прямо противоположный эффект у дистилляции (например, Distill-R1-Qwen): дистилляция реально добавляет в модель новые стратегии рассуждений.
Авторы проверили гипотезу на огромном наборе задач (математика, программирование, визуальный reasoning), множестве моделей и RL-алгоритмов (PPO, GRPO, ReMax и др.). Везде одно и то же — базовая модель имеет больший потенциал при достаточном количестве попыток.
Похоже, что для реального роста reasoning-способностей нужно придумывать совершенно другие подходы.
Статья, GitHub
RL с верифицируемыми наградами (RLVR) — один из самых популярных подходов для прокачки reasoning-способностей современных LLM, вроде OpenAI-o1 и DeepSeek-R1. Считается, что RLVR позволяет модели самой находить новые паттерны рассуждений, отсутствующие в базовой версии.
Но авторы новой статьи из Tsinghua и SJTU решили это перепроверить и получили крайне неожиданный результат: RLVR НЕ создаёт новые стратегии рассуждений.
Когда мало сэмплов (pass@1), то да, RL версии обгоняют base модели. Но если взять pass@128 или pass@256 (много попыток), то уже наоборот, базовые версии стабильно оказываются ЛУЧШЕ, причём существенно!
Причина: RL не создаёт новые паттерны, а лишь усиливает вероятность уже известных решений из базовой модели. При этом резко падает энтропия, а значит, сужается пространство возможных решений.
Прямо противоположный эффект у дистилляции (например, Distill-R1-Qwen): дистилляция реально добавляет в модель новые стратегии рассуждений.
Авторы проверили гипотезу на огромном наборе задач (математика, программирование, визуальный reasoning), множестве моделей и RL-алгоритмов (PPO, GRPO, ReMax и др.). Везде одно и то же — базовая модель имеет больший потенциал при достаточном количестве попыток.
Похоже, что для реального роста reasoning-способностей нужно придумывать совершенно другие подходы.
Статья, GitHub
ruCoIR 🚀
Перевели на русский некоторые задания из бенчмарка CoIR. Бенчмарк CoIR оценивает способности моделей эмбеддеров в задачу поиска text to code, code to text и code to code. Взяли задания там где есть текст. Переводили с помощью модели phi-4.
Перевели часть заданий. Этого достаточно чтобы ранжировать модели по способностям поиска кода по русскому тексту. В таблице замеры различных эмбеддеров, которые умеют работать с русским языком.
Модели multilingual-e5-large и multilingual-e5-large-instruct выглядят очень даже не плохо учитывая их размер.
HF dataset
GitHub
Перевели на русский некоторые задания из бенчмарка CoIR. Бенчмарк CoIR оценивает способности моделей эмбеддеров в задачу поиска text to code, code to text и code to code. Взяли задания там где есть текст. Переводили с помощью модели phi-4.
Перевели часть заданий. Этого достаточно чтобы ранжировать модели по способностям поиска кода по русскому тексту. В таблице замеры различных эмбеддеров, которые умеют работать с русским языком.
Модели multilingual-e5-large и multilingual-e5-large-instruct выглядят очень даже не плохо учитывая их размер.
HF dataset
GitHub
🚀🚀🚀 Koda 🚀🚀🚀
Мы запустили Koda! AI сервис для разработчиков с хорошим пониманием русского языка.
Под капотом — лучшие открытые LLM, дообученные на актуальном коде и адаптированные для русского языка, c применением нашего опыта по созданию моделей.
Koda и наши модели бесплатны. Даем 250 запросов на внешние модели после аутентификации через GitHub. В списке моделей есть DeepSeek V3.1, Qwen3 235B и другие. Можете вбить свой токен внешней модели для CodeChat если есть.
Сейчас в beta-тестировании. Выкатили базовые сервисы. Куча фичей ждут своих релизов. Вместе с вами тестируем и улучшаем.
Делитесь вашим опытом использования Koda в нашем сообществе. Ждем ваши вопросы, ошибки, которые встретили, или идеи, как улучшить.
Koda сейчас — это команда энтузиастов, бывших разработчиков и соавторов GigaCode от Сбера, которые хотят сделать программирование более доступным c помощью AI.
Наш лендинг
Плагин для VSCode
Koda сообщество
Мы запустили Koda! AI сервис для разработчиков с хорошим пониманием русского языка.
Под капотом — лучшие открытые LLM, дообученные на актуальном коде и адаптированные для русского языка, c применением нашего опыта по созданию моделей.
Koda и наши модели бесплатны. Даем 250 запросов на внешние модели после аутентификации через GitHub. В списке моделей есть DeepSeek V3.1, Qwen3 235B и другие. Можете вбить свой токен внешней модели для CodeChat если есть.
Сейчас в beta-тестировании. Выкатили базовые сервисы. Куча фичей ждут своих релизов. Вместе с вами тестируем и улучшаем.
Делитесь вашим опытом использования Koda в нашем сообществе. Ждем ваши вопросы, ошибки, которые встретили, или идеи, как улучшить.
Koda сейчас — это команда энтузиастов, бывших разработчиков и соавторов GigaCode от Сбера, которые хотят сделать программирование более доступным c помощью AI.
Наш лендинг
Плагин для VSCode
Koda сообщество
DeepSeek-R1 доступен в Koda v0.1.6.
Обновили список free trial моделей. Список пополнился обновленной DeepSeek R1 и Devstral от Mistral. DeepSeek R1 демонстрирует метрики на уровне топовых моделей. Используйте ризонинг DeepSeek R1 для ваших самых сложных задач если обычные чат модели не справляются.
Для всех пользователей доступно 250 бесплатных запросов к free trial моделям после аутентификации через GitHub.
Так же в новом релизе мы исправили несколько багов.
Koda сообщество
Плагин для VSCode
Обновили список free trial моделей. Список пополнился обновленной DeepSeek R1 и Devstral от Mistral. DeepSeek R1 демонстрирует метрики на уровне топовых моделей. Используйте ризонинг DeepSeek R1 для ваших самых сложных задач если обычные чат модели не справляются.
Для всех пользователей доступно 250 бесплатных запросов к free trial моделям после аутентификации через GitHub.
Так же в новом релизе мы исправили несколько багов.
Koda сообщество
Плагин для VSCode
⚡️Qwen3 Embedding: новые SOTA модели эмбеддeров и реранкеров!
Все модели под apache 2.0 и на всех бенчах в топе.
Вектор эмбеддера снимается с поледнего токена подаваемого текста [EOS]. Для реранкера над последним токеном берем вероятность токена "yes" и "no"и по ним рассчитывается скор наличия ответа на вопрос в документе. Пишут, что использовали LoRa чтобы сохранить и улучшить возможности моделей. Об этом пишут в блоге, но нет упоминания в пейпере.
Обучали в три стадии, как на картинке. На первой стадии так же использовали сами же модели Qwen3 в части генерации текстовых пар вопрос - ответ. На второй стадии использовали хорошо размеченные данные. После мержили лучшие чекпойнты.
Замерили на ruCoIR (понимание на русском кодовых задач). Так же SOTA (последняя таблица на картинках). Вероятно, на ruMTEB тоже в топе будут.
HuggingFace
blog
Paper
GitHub
Все модели под apache 2.0 и на всех бенчах в топе.
Вектор эмбеддера снимается с поледнего токена подаваемого текста [EOS]. Для реранкера над последним токеном берем вероятность токена "yes" и "no"и по ним рассчитывается скор наличия ответа на вопрос в документе. Пишут, что использовали LoRa чтобы сохранить и улучшить возможности моделей. Об этом пишут в блоге, но нет упоминания в пейпере.
Обучали в три стадии, как на картинке. На первой стадии так же использовали сами же модели Qwen3 в части генерации текстовых пар вопрос - ответ. На второй стадии использовали хорошо размеченные данные. После мержили лучшие чекпойнты.
Замерили на ruCoIR (понимание на русском кодовых задач). Так же SOTA (последняя таблица на картинках). Вероятно, на ruMTEB тоже в топе будут.
HuggingFace
blog
Paper
GitHub