📐 Aryabhata 1.0* — интересный пример open-source подхода и model merging в действии.
Это небольшая языковая модель на 7B параметров, обученная для решения задач по математике. Её разработала индийская edtech-компания PhysicsWallah.
🧩 Как создавали модель:
1️⃣ *Model merging на старте*
Взяли три open-source модели:
— Qwen 2.5‑Math‑7B
— AceMath‑7B
— DeepSeek‑R1‑Distill‑Qwen‑7B
Объединили их веса (weighted average) и получили Aryabhata 0.5 — начальную модель без дополнительного обучения, просто усреднив параметры. Это заняло всего пару минут GPU-времени.
2️⃣ *Собрали датасет из задач по математике*
Взяли 250 000 заданий из своей базы JEE-экзаменов, очистили от лишнего, оставив ~130 000 актуальных заданий (2019–2024).
3️⃣ *Создание обучающих данных через CoT*
Aryabhata 0.5 решала каждую задачу, генерируя 4 цепочки рассуждений. Сохранили только те, что дали правильный ответ. Получилось 100 000 задач и 350 000 корректных reasoning-трейсов.
4️⃣ *Файнтюнинг (SFT)*
На этих парах дообучили модель, чтобы она писала решения в стиле студенческих ответов по стандарту экзаменов JEE.
💻 Обучение провели на связке из двух NVIDIA H100.
🧠 В результате получилась Aryabhata 1.0 — компактная, но точно заточенная под реальные экзаменационные задачи модель.
https://huggingface.co/PhysicsWallahAI/Aryabhata-1.0
Это небольшая языковая модель на 7B параметров, обученная для решения задач по математике. Её разработала индийская edtech-компания PhysicsWallah.
🧩 Как создавали модель:
1️⃣ *Model merging на старте*
Взяли три open-source модели:
— Qwen 2.5‑Math‑7B
— AceMath‑7B
— DeepSeek‑R1‑Distill‑Qwen‑7B
Объединили их веса (weighted average) и получили Aryabhata 0.5 — начальную модель без дополнительного обучения, просто усреднив параметры. Это заняло всего пару минут GPU-времени.
2️⃣ *Собрали датасет из задач по математике*
Взяли 250 000 заданий из своей базы JEE-экзаменов, очистили от лишнего, оставив ~130 000 актуальных заданий (2019–2024).
3️⃣ *Создание обучающих данных через CoT*
Aryabhata 0.5 решала каждую задачу, генерируя 4 цепочки рассуждений. Сохранили только те, что дали правильный ответ. Получилось 100 000 задач и 350 000 корректных reasoning-трейсов.
4️⃣ *Файнтюнинг (SFT)*
На этих парах дообучили модель, чтобы она писала решения в стиле студенческих ответов по стандарту экзаменов JEE.
💻 Обучение провели на связке из двух NVIDIA H100.
🧠 В результате получилась Aryabhata 1.0 — компактная, но точно заточенная под реальные экзаменационные задачи модель.
https://huggingface.co/PhysicsWallahAI/Aryabhata-1.0
❤6👍6🔥5
tgoop.com/data_math/827
Create:
Last Update:
Last Update:
📐 Aryabhata 1.0* — интересный пример open-source подхода и model merging в действии.
Это небольшая языковая модель на 7B параметров, обученная для решения задач по математике. Её разработала индийская edtech-компания PhysicsWallah.
🧩 Как создавали модель:
1️⃣ *Model merging на старте*
Взяли три open-source модели:
— Qwen 2.5‑Math‑7B
— AceMath‑7B
— DeepSeek‑R1‑Distill‑Qwen‑7B
Объединили их веса (weighted average) и получили Aryabhata 0.5 — начальную модель без дополнительного обучения, просто усреднив параметры. Это заняло всего пару минут GPU-времени.
2️⃣ *Собрали датасет из задач по математике*
Взяли 250 000 заданий из своей базы JEE-экзаменов, очистили от лишнего, оставив ~130 000 актуальных заданий (2019–2024).
3️⃣ *Создание обучающих данных через CoT*
Aryabhata 0.5 решала каждую задачу, генерируя 4 цепочки рассуждений. Сохранили только те, что дали правильный ответ. Получилось 100 000 задач и 350 000 корректных reasoning-трейсов.
4️⃣ *Файнтюнинг (SFT)*
На этих парах дообучили модель, чтобы она писала решения в стиле студенческих ответов по стандарту экзаменов JEE.
💻 Обучение провели на связке из двух NVIDIA H100.
🧠 В результате получилась Aryabhata 1.0 — компактная, но точно заточенная под реальные экзаменационные задачи модель.
https://huggingface.co/PhysicsWallahAI/Aryabhata-1.0
Это небольшая языковая модель на 7B параметров, обученная для решения задач по математике. Её разработала индийская edtech-компания PhysicsWallah.
🧩 Как создавали модель:
1️⃣ *Model merging на старте*
Взяли три open-source модели:
— Qwen 2.5‑Math‑7B
— AceMath‑7B
— DeepSeek‑R1‑Distill‑Qwen‑7B
Объединили их веса (weighted average) и получили Aryabhata 0.5 — начальную модель без дополнительного обучения, просто усреднив параметры. Это заняло всего пару минут GPU-времени.
2️⃣ *Собрали датасет из задач по математике*
Взяли 250 000 заданий из своей базы JEE-экзаменов, очистили от лишнего, оставив ~130 000 актуальных заданий (2019–2024).
3️⃣ *Создание обучающих данных через CoT*
Aryabhata 0.5 решала каждую задачу, генерируя 4 цепочки рассуждений. Сохранили только те, что дали правильный ответ. Получилось 100 000 задач и 350 000 корректных reasoning-трейсов.
4️⃣ *Файнтюнинг (SFT)*
На этих парах дообучили модель, чтобы она писала решения в стиле студенческих ответов по стандарту экзаменов JEE.
💻 Обучение провели на связке из двух NVIDIA H100.
🧠 В результате получилась Aryabhata 1.0 — компактная, но точно заточенная под реальные экзаменационные задачи модель.
https://huggingface.co/PhysicsWallahAI/Aryabhata-1.0
BY Математика Дата саентиста
Share with your friend now:
tgoop.com/data_math/827