The State of LLM Reasoning Model Inference

Себастьян Рашка, известный по своей книге о классическом ML, теперь пишет и про LLM. Сейчас (еще в марте) выпустил обзор методов улучшения инференса LLM за счет дополнительного компьюта. Идея - заставить модель дольше размышлять для получения более качественного ответа.

Возможно чем слабее базовая модель, тем заметнее эффект от этих техник. Для сильных LLM прирост качества оказывается ниже (см. картинку). Но это надо не просто дольше думать, но и правильно

Что кажется можно легко проверить и использовать без архитектурного изменения модели:

Wait Injection. Перед генерацией финального ответа просим LLM вывести слово Wait. Это дает модели паузу на переосмысление контекста. На математических задачах точность может вырасти до +50%. Использовать можно добавив соответствующую инструкцию в промпт или сделать повторный запрос с предыдущим контекстом и мыслями модели, добавив Wait

Переход от Chain-of-Thought (CoT) к Chain of Draft (CoD). Базированный CoT часто генерирует избыточные рассуждения, сжигая токены. Новый подход (CoD) предлагает модели размышлять в формате коротких тезисов (можно достичь за счет промтинга). Результат: лучше метрики и дешевле запросы

ШАД - достойные материалы по llm курсу 🤝
ps будет integer overflow

Интересный обзор архитектур open-source LLM за 2025г The Big LLM Architecture Comparison

Забавно, как каждая из моделей по-своему комбинирует уже известные подходы, придуманные еще в прошлых года, при этом получая разнонаправленное влияние на метрики (Qwen3 почти не отличается по GPT-OSS. Тут детальнее про GPT-OSS). Например:
• Переход от ванильного Multi-Head Attention к Grouped-Query Attention (GQA), который появился ещё в 2023 году
• Attention Bias, который не использовали со времён GPT-2 и Attention Sinks обучаемый параметр для каждого блока внимания, которые применили в gpt-oss, хотя придумали его ещё в 2023 году
• NoPE (No Positional Encoding) — интересная идея, но её пока применили только в одной модели из обзора
• MoE (mixture of experts) - тоже известная больше года история

За деталями рекомендую к статье. Интересно на каких данных и как именно обучали модели. Но этой информацией зачастую делятся очень верхнеуровнево

Неплохой курс от Яндекса как делать презентации

Быстрый и емкий курс, полезен тем, кто в последний раз делал презентацию в университете и не только. В нём есть хорошие и показательные примеры того, какой тип графиков выбрать для тех или иных данных (спойлер: диаграммы Ганта, Санки и даже Венна не понадобятся, это вам не эксель и даже не…). Еще рассматривается выбор контрастности и лёгкость восприятия слайдов в зависимости от межстрочного интервала и тд и тд

P.S. Это как на той конференции, когда мне дезигнеры перерисовывали слайд, вроде и не изменилось, но читаться стало легче

Не знал, что bag-of-words это новые технологии 😁

А так конечно коммерсант еще не готов давать ссылки на гитхаб, где бустинги и обучаемые косинусные расстояние

Model Context Protocol (MCP) Course от Hugging Face

Достойный курс, ещё и бесплатный. Когда я читал whitepaper от Anthropic, казалось, что MCP - это просто некий хаб для функций (tools) с целью унификации API (aka function registry), чтобы в будущем упростить интеграцию инструментов друг с другом. Но все не совсем так. Протокол предполагает наличие, помимо самих функций (Tools), ещё и:
• Resources (Ресурсы): расширенный контекст о системе, доступный только для чтения, например, структура базы данных или список файлов
• Prompts: Готовые, сложные сценарии, использующие Tools и Resources

Кажется, что Tools и Prompts могли бы быть одной сущностью, но они намеренно разделены. Чтобы агент имел выбор: либо просто вызвать конкретный Tool для выполнения 1го действия, либо запустить более сложный Prompt, который под капотом может использовать несколько инструментов и ресурсов для достижения цели.

Понравился пример из курса, когда MCP используется для обеспечения конфиденциальности: например, данные клиента можно обрабатывать локально, на его же стороне, не передавая их на сервер.

P.S. Используя FastMCP, можно поднять такой сервер в несколько строк кода

LLM blending работает но дорого

Если бюджеты позволяют, для улучшения метрик можно комбинировать ответы от разных промптов или LLM, используя агрегацию с помощью другой LLM или majority voting. Как в старых добрых табличных задачках, осталось только до стэкинга дойти.

В статье Are More LLM Calls All You Need на MMLU PHYSICS blending улучшает точность на лёгких вопросах с 88% до 96% при 10 запросах, но на сложных задачах всё не так однозначно. На сложных задачах, где LLM с большей вероятностью выдаёт неверный ответ, при увеличении числа вызовов самый популярный (но ошибочный) ответ чаще побеждает в голосовании, что снижает общую точность. При этом обычный voting работает лучше, чем filter-voting, где итоговый ответ определяет отдельный вызов модели.

А в статье Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information предложены другие методы агрегирования (Optimal Weight, Inverse Surprising Popularity), которые учитывают корреляции и точность между моделями, как итог превосходят простое majority voting. По сути, для ответов моделей просто подбираются оптимальные веса для взвешивания. Это даёт прирост в +0.5% к точности лучшей модели (на датасетах UltraFeedback и ARMMAN, но наблюдается отрицательный эффект на MMLU). И +5% по сравнению с majority voting при 2х запросах и падением эффекта до +1% при 10и моделях. Сильное влияние оказывает некоррелированность ответов - если варианты слишком похожи, прироста почти нет