🤬Т-Банк 👁👁👁

Я конечно всё понимаю и галочка "хочу получать вакансии на почту" в форме регистрации как-бы намекает, что Т-Банк ищет таким образом потенциальных сотрудников.
Но типа.. кхмм.

Окей. Пофиг, работаем дальше💪

Возможно скоро будут интересный контент на тему дообучения Gemma на tool calling, но это не точно.

🤘 Обучил Gemma-3-12B на tools calling!

SYSTEM: Ты умный AI ассистент. Отвечай на русском языке. Если используешь функции - передавай аргументы без изнменений, как-есть.
USER: Как там в Москве?
The model wants to call a function:
Function: get_weather
Arguments: {"location": "Москва"}
Message content: None
Function result: {'temperature': 72, 'condition': 'sunny', 'humidity': 30, 'feels_like': 'Huge Rave Party', 'rage_factor': 'VERY HUGE RAGE!!111'}

Final response:
Ох, ну, судя по всему, в Москве сейчас... не совсем обычная погода. Похоже, там "солнечно" с температурой 72, влажностью 30 и ощущением "Огромной вечеринки"! И, конечно, "ОЧЕНЬ ОГРОМНЫЙ уровень ярости!!"

Что-то мне подсказывает, что данные немного... нестандартные. Может быть, ошибка в системе? Или ты хочешь пошутить? В любом случае, я бы проверил официальный прогноз погоды для Москвы, чтобы убедиться, что там всё в порядке! 😉

🤯 Сегодня случилось то, чего я так боялся - 👁👁👁👁👁👁 bf16!

Собственно тюним тут очередную модель, чтобы использовать её в качестве базовой в своих сервисах.
И тут с самого начала напрягает высокий grad_norm, а потом train_loss улетает в небеса или же наоборот падает в NaN.
На картинке: синим - нормальный график. Зеленым и фиолетовым, очевидно, - плохой.

Это явные признаки переполнения fp16 или bf16.
В данном случае мы слишком сильно увеличили количество семплов в одном батче за счет высокого значения sample_packing_bin_size в axolotl и большого micro_batch_size.
В итоге точности bf16 не хватило и градиенты начали при делении вываливаться за границы. Разница между фиолетовым и зеленым в том, что в одном из них используется CutCrossEntropy, который, как можно заметить, не спасает от таких ситуаций.

Можно было бы перейти на tf32, но провал в скорости достаточно существенный, а гарантий того, что где-то в середине трейна вы опять не вывалитесь - нет.

В общем, следите за своими батчами - это тот самый случай, когда размер имеет значение.

👀Зачем мы обучаем нейросети?

Записал небольшой рилс и тут поясню немного подробнее текстом.
Существуют всем известные "швейцарские ножи" в виде ChatGPT, DeepSeek, Claude, Gemini, Qwen.
Но если рассматривать облачные решения, то тут возникает сразу несколько вопросов:
1. Офлайн-работа и закрытый контур.
2. Конфиденциальность (мало кто захочет отправлять свои данные в недружественные страны).
3. Тонкий файнтюн (да, в некоторых облачных решениях он есть, но речь именно о тонкой донастройке).
4. Конечная стоимость эксплуатации.
5. Зависимость от сторонних решений.

Чтобы решить все эти проблемы - можно взять открытую модель и использовать её. Однако во многих open-source #LLM есть проблемы с пониманием русского языка.
Мы сейчас активно разрабатываем свои AI сервисы, в том числе для платформы Школково.
Логичным решением было взять для основы модели VikhrModels. На момент начала разработки самой "умной" моделью был Vikhr-Nemo-12B. Это действительно хорошая модель, но на некоторых задачах сказывался её размер.
Поскольку Vikhr-Nemo основан на семействе моделей Mistral - наш выбор логично пал на чуть более свежую и вдвое большую модель Mistral-Small-24B.
Далее мы составили большой русский датасет для обучения и так появилась первая версия Zero-Mistral-24B.

Почему 24B? Модель получается достаточно умной, но в то же время помещается в Q8 на 5090 или двух 4090, имея при этом достаточную производительность.

В результате у нас вышла неплохая модель с достаточным для наших задач пониманием русского языка. В своих проектах мы используем её и "как есть", и частенько тюним небольшие LoRa адаптеры под узкие задачи. Стоит отметить, что именно донастроенная на русский язык версия тюнится гораздо лучше оригинального Mistral-Small.

Сейчас же у нас в работе ряд экспериментов, в том числе:
- Новая версия Zero-Mistral на Mistral-Small-3.2 (для нетерпеливых есть beta57 и beta60 с MERA 0.641 и 0.640).
- Эксперименты с гибридным ризонингом на основе Mistral-Small. Мне не очень нравится, как работает Magistral - есть основания полагать, что подход Qwen3 будет успешнее.
- Эксперименты с маленькими немотронами и контекстом в 1M.
- Draft модель для Zero-Mistral, которая в теории должна сильно ускорить инференс, но на практике пока что это ускорение выходит обслуживать дороже, чем просто накинуть дополнительных GPU. Работы ещё ведём, надеюсь получится добиться нужного результата.
- Эксперименты с Qwen3-14b - хочется повторить успех T-Pro-it-2.0 на меньшем размере модели.
- Эксперименты с Gemma-3-12b и Gemma-3n для стабильной поддержки function calling.
- Новые синтетические русскоязычные датасеты для Reasoning, function calling и instruction following.

Большую часть наших моделей и датасетов мы выкладываем в open-source, потому что верим, что это поможет не только нам, но и всему сообществу в целом.