Big Data AI

🧠 OpenThinker3-7B — новая открытая LLM для математики, кода и науки

Команда Open Thoughts представила OpenThinker3-7B — модель с 7B параметров, натренированную на 1.2M задач по математике, программированию и естественным наукам. Построена на базе Qwen2.5-7B-Instruct и удивляет точностью даже без RLHF.

🔍 Что внутри:
• 850 000 математических задач
• 250 000 задач по программированию
• 100 000 научных вопросов
• SFT (без RL) — но обходит модели до 32B

📊 Результаты (AIME24 / MATH500 / CodeElo):
• OpenThinker3-7B: 69.0 / 90.0 / 32.2
• DeepSeek-R1-Distill-32B: 51.3 / 88.0 / 21.1
• OpenThinker2-7B: 60.7 / 87.6 / 26.6

🧩 Ключевые фишки:
• Полностью открытая модель: веса, код, датасеты
• Работает с Evalchemy, CodeElo, GPQA, JEEBench
• Умеет точно рассуждать без цепочек промптов
• Превосходит модели в 3–5 раз больше по параметрам

⚙️ Технические детали:
• GPU: 512 × A100
• Время обучения: 48 часов
• PyTorch 2.3, Transformers 4.46
• Оптимизатор: AdamW, LR: 8e-5, cosine scheduler

🔗 Полезные ссылки:
https://huggingface.co/open-thoughts/OpenThinker3-7B
📂 Датасет: https://huggingface.co/datasets/open-thoughts/OpenThoughts3-1.2M
📄 Статья: https://arxiv.org/abs/2506.04178
💻 GitHub: github.com/open-thoughts/open-thoughts

www.tgoop.com/bigdatai/1324

1.6K viewsJun 7 at 07:38

🧠 OpenThinker3-7B — новая открытая LLM для математики, кода и науки

Команда Open Thoughts представила OpenThinker3-7B — модель с 7B параметров, натренированную на 1.2M задач по математике, программированию и естественным наукам. Построена на базе Qwen2.5-7B-Instruct и удивляет точностью даже без RLHF.

🔍 Что внутри:
• 850 000 математических задач
• 250 000 задач по программированию
• 100 000 научных вопросов
• SFT (без RL) — но обходит модели до 32B

📊 Результаты (AIME24 / MATH500 / CodeElo):
• OpenThinker3-7B: 69.0 / 90.0 / 32.2
• DeepSeek-R1-Distill-32B: 51.3 / 88.0 / 21.1
• OpenThinker2-7B: 60.7 / 87.6 / 26.6

🧩 Ключевые фишки:
• Полностью открытая модель: веса, код, датасеты
• Работает с Evalchemy, CodeElo, GPQA, JEEBench
• Умеет точно рассуждать без цепочек промптов
• Превосходит модели в 3–5 раз больше по параметрам

⚙️ Технические детали:
• GPU: 512 × A100
• Время обучения: 48 часов
• PyTorch 2.3, Transformers 4.46
• Оптимизатор: AdamW, LR: 8e-5, cosine scheduler

🔗 Полезные ссылки:
https://huggingface.co/open-thoughts/OpenThinker3-7B
📂 Датасет: https://huggingface.co/datasets/open-thoughts/OpenThoughts3-1.2M
📄 Статья: https://arxiv.org/abs/2506.04178
💻 GitHub: github.com/open-thoughts/open-thoughts

BY Big Data AI