tgoop.com/machinelearning_ru/2921
Last Update:
Чем хороша модель:
- 8B параметров - лёгкая для локального инференса.
- Средний балл 77.0 на OpenCompass - сводная оценка по 8 популярным бенчмаркам.
- По этим тестам обгоняет ряд проприетарных моделей уровня GPT-4o-latest и Gemini-2.0 Pro, а также сильный опенсорс Qwen2.5-VL 72B в задачах vision-language.
- Фактически самый результативный MLLM до 30B параметров.
Что соберём за сессию:
1) Мини-API для инференса - роут /chat с приемом текста и изображения.
2) Ультралёгкий фронт в anycoder - поле ввода, загрузка картинки, предпросмотр.
3) Набор промпт-темплейтов - описание изображения, OCR-вопросы, разбор скриншотов кода.
Где модель особенно заходит:
- Разбор скринов UI и PDF с таблицами.
- Вопросы по диаграммам и графикам.
- Помощь по коду по фотографиям экрана.
https://huggingface.co/spaces/akhaliq/MiniCPM-V-4_5