Machine learning Interview

🧠 Phi-4-mini-flash-reasoning —новая компактная модель от Microsoft с мощной математической логикой

Модель Phi-4-mini-flash-reasoning — это часть семейства Phi‑4 от Microsoft. Она специально создана для глубокого математического мышления, при этом остаётся лёгкой, быстрой и экономной по ресурсам.

🔍 Что делает её особенной

- Модель на 3.8B параметров, но приближается по качеству к 7B–8B аналогам.
- Контекст до 64K токенов — идеально для задач с длинной цепочкой логики.
- Оптимизирована под математику: подходит для доказательств, символьных вычислений, задач с несколькими шагами и сложных текстовых задач.

🚀 Достижения:

| Модель | AIME24 | AIME25 | Math500 | GPQA |
|----------------------------------|--------|--------|---------|------|
| Phi-4-mini-**Flash**-Reasoning | **52.29** | **33.59** | **92.45** | **45.08** |
| Phi-4-mini-Reasoning | 48.13 | 31.77 | 91.20 | 44.51 |
| DeepSeek-R1-Qwen-1.5B | 29.58 | 20.78 | 84.50 | 37.69 |
| DeepSeek-R1-LLaMA-8B | 43.96 | 27.34 | 87.48 | 45.83 |
| Bespoke-Stratos-7B | 21.51 | 18.28 | 80.73 | 38.51 |

📈 *Модель превосходит другие по точности, несмотря на компактный размер.*

⚙️ Производительность

- Модель построена на гибридной архитектуре decoder + SSM, что даёт:
- модель способна генерировать длинные ответы примерно в 10 раз быстрее, чем её базовая версия
- почти линейный рост задержки (в отличие от квадратичного у обычных моделей)
- Тестировалась на A100-80GB, без tensor parallelism.

📌 *Идеальна для мобильных устройств и приложений с ограниченными ресурсами.*
⚠️ На что стоит обратить внимание

- Оптимизирована только под математическое мышление, не предназначена для общего NLP.
- Из-за размера ограничена в фактических знаниях — желательно использовать с поиском или RAG.

Phi-4-mini-flash-reasoning — это пример того, как небольшая модель может быть очень умной, если её правильно обучить и оптимизировать под конкретные задачи.

📌 Модель: https://huggingface.co/microsoft/Phi-4-mini-flash-reasoning

Подпишись: @machinelearning_interview

Please open Telegram to view this post

VIEW IN TELEGRAM

❤7👍5🥰1

www.tgoop.com/machinelearning_interview/1937

2.19K viewsJul 10 at 11:17

🧠 Phi-4-mini-flash-reasoning —новая компактная модель от Microsoft с мощной математической логикой

Модель Phi-4-mini-flash-reasoning — это часть семейства Phi‑4 от Microsoft. Она специально создана для глубокого математического мышления, при этом остаётся лёгкой, быстрой и экономной по ресурсам.

🔍 Что делает её особенной

- Модель на 3.8B параметров, но приближается по качеству к 7B–8B аналогам.
- Контекст до 64K токенов — идеально для задач с длинной цепочкой логики.
- Оптимизирована под математику: подходит для доказательств, символьных вычислений, задач с несколькими шагами и сложных текстовых задач.

🚀 Достижения:

| Модель | AIME24 | AIME25 | Math500 | GPQA |
|----------------------------------|--------|--------|---------|------|
| Phi-4-mini-**Flash**-Reasoning | **52.29** | **33.59** | **92.45** | **45.08** |
| Phi-4-mini-Reasoning | 48.13 | 31.77 | 91.20 | 44.51 |
| DeepSeek-R1-Qwen-1.5B | 29.58 | 20.78 | 84.50 | 37.69 |
| DeepSeek-R1-LLaMA-8B | 43.96 | 27.34 | 87.48 | 45.83 |
| Bespoke-Stratos-7B | 21.51 | 18.28 | 80.73 | 38.51 |

📈 *Модель превосходит другие по точности, несмотря на компактный размер.*