*делаю документацию для пайплайна с описанием работы*

Я:
- чат гпт сейчас все формально оформит
Чат гпт:

Я один супер кайфую от зеленой надписи, что все тесты пройдены?
Прям хочется тесты ради этого написать 😅

Очень интересная статья. Авторы показали, что можно сделать классную ризонинг-модель, которая будет превосходить o1-preview от OpenAI на математике, всего лишь с помощью простого супервайзного файнтюнинга (SFT) на 1000 отобранных семплах. В статье продемонстрировали test-time scaling (линейная зависимость между метрикой качества и логарифмом числа токенов). Чем дольше модель думает, тем лучше результат: 50% → 56.7% accuracy.

Что сделали:

1. Качественный датасет: семплы в формате *вопрос - размышление - ответ*. Для генерации размышлений и ответов использовали разные модели. Например, Gemini 2.0 Flash Thinking.
2. Дообучили Qwen-2.5-32B-Instruct, чтобы научить «думать». Для этого ввели новую роль think в шаблон промпта. Внутри размышления использовали разделитель “Wait”. Обучение заняло всего 26 минут на H100!
3. На инференсе модель работает так:
1. Сначала генерируем стандартный ответ ассистента:

        <|im_start|>system
        You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
        <|im_end|>
        <|im_start|>user
        How many r in raspberry
        <|im_end|>
        <|im_start|>assistant
        

2. Затем открываем блок размышления: <|im_start|>think
3. Каждый раз, когда модель пытается закрыть блок (`<|im_end|>`), мы добавляем в промпт слово "Wait". Это заставляет её продолжать размышлять. Повторяем столько раз, сколько ресурсов есть на генерацию токенов.
4. В конце закрываем блок размышления (`<|im_end|>`) и просим модель сгенерировать финальный ответ:

        <|im_start|>assistant
        (final answer here)
        <|im_end|
        

Впечатлило то, что можно очень просто сделать под свою задачу классную ризонинг модель, не обладая всеми кластерами мира) Как будто, можно даже на колабе справиться, если взять Qwen поменше. Но это будет больно, конечно))

Вот в таком красивом месте я живу. Часть 1 🌄

Открытие сегодня! Это как Скрип, только текст понятнее и поприличнее) Короче 🔫

https://open.spotify.com/track/4hjUFqGlIuG3u2ZQM6ys4E?si=5g76VKVwR-aSh4qiw8CmhQ&context=spotify%3Aalbum%3A1r0zLzve9XhiN2iDJIFkDv

А это я на скейте катал немного 🛹

Знаете это чувство, когда ты очень устал, но еще не хочешь заканчивать этот день. И ты сидишь немного не в себе, в хорошем смысле, чувства замедлены, потягиваешь чай и слушаешь плавную ночную музыку. И она потихоньку уносит тебя в мир снов.
Я сегодня слушаю новый R&B альбомчик. Только нашел. И так хорошо. Иногда так мало надо для наслаждения жизнью)

P.S. На фотке мое чудесное жилище

Вчера досмотрел Пингвина. Всем советую! Даже тем, кто вообще не шарит за DC. Нам показывают в деталях весь бэкграунд Освальда Кобблпота (это так Пингвина зовут) и объясняют, как он докатился до жизни такой (суперзлодейской). Красиво, мрачно и очень качественно. Развитие персонажей, сюжет, динамика - все вышка! Тот случай, когда ты постоянно пытаешься сопереживать злодеям, но они каждый раз тебя разочаровывают, не оставляя к себе ни толики симпатии.

У меня завтра будет вебинар) Рокет саенса рассказывать не буду. Но, думаю, будет занимательно. Кому интересно, заходите. Время указано московское.

Text2SQL-вебинар)

Наш разработчик Миша Куимов на примере нашего проекта расскажет про Text2SQL и в конце еще запустим общее обсуждение с вами, тоже сможете поделиться своим опытом.

Для тех кто не знает что это такое:
Пользователю теперь не надо знать SQL, чтобы узнать, что в базе данных, достаточно просто спросить: "Сколько продаж было в апреле?". Система сама преобразует это в запрос к базе и выдаст "человеческий" ответ.

Что расскажем:
— Как мы решали задачу: человек пишет на обычном языке — система отвечает данными из БД.
— Архитектура решения: как устроен агент, какую роль играет RAG, схема данных, защита от ошибок.
— Как обрабатываются синонимы и разные формулировки.
— Как строим графики.
— Какие сложности были и как мы их решили.
— Покажем примеры работы.

Для кого этот вебинар:
— Разработчики.
— Владельцы бизнесов, работающих с таблицами и базами.
— Продакт-менеджеры, BI-аналитики.
— Все, кто устал вручную искать данные и хочет «спросил — получил».

Во вторник 20 мая в 16-00 в этом же канале) Перешлите знакомым)

Завтра поедем на машине через всю Испанию. Я в предвкушении! 😋

Буду сюда в комменты класть видосы)