Математика Дата саентиста 888

Математика Дата саентиста

📄 Nanonets-OCR2-3B - новая модель для интеллектуального OCR

Модель от Nanonets на базе Qwen2.5-VL-3B умеет не просто распознавать текст, а превращать изображение документа в структурированный Markdown: с таблицами, формулами, подписями и даже схемами.

🔍 Что умеет

- Распознаёт формулы и преобразует их в LaTeX
- Понимает таблицы и сохраняет структуру в Markdown или HTML
- Выделяет чекбоксы и радиокнопки (☐ / ☑ / ☒)
- Распознаёт подписи, водяные знаки, изображения
- Может описать картинки внутри документа с помощью <img>
-Поддерживает рукописные тексты и разные языки
- Для схем и блок-схем генерирует Mermaid-код
- Умеет отвечать на вопросы по документу (Visual QA)

👉 huggingface.co/nanonets/Nanonets-OCR2-3B

👍7❤5

2.15K views12:57

Математика Дата саентиста

🧠 Могут ли мультимодальные модели действительно понимать инструменты?

Новая работа проверяет, способны ли модели действительно понимать физические инструменты, а не просто узнавать их по картинке.

📷 В задаче модели показывают фото и просят выбрать нужный инструмент с номером.
Датасет включает 1 000 пар изображение + текст и три уровня сложности:
1. Базовое распознавание инструмента;
2. Понимание ограничений (например, работает ли он, цел ли);
3. Конструирование инструмента из других предметов.

🧩 Условия:
- Можно использовать только предметы на фото;
- Ответ - номер инструмента или None.

👨‍🔬 Результаты:
- Люди: ~90 %
- Топ-модели: ~63 %
- Внутренние бэкенды Vision-Language-Action моделей — < 15 %.

Типичные ошибки:
- Считают сломанный инструмент рабочим;
- Путают похожие кабели и порты.

🔧 Немного помогает масштаб — примерно с 10 B параметров появляется базовое “чувство инструмента”.
Метод chain-of-thought даёт небольшой прирост,
а vision-centric пайплайн (распознавание объектов + рассуждение по вырезкам) улучшает самые трудные случаи.

💡 Главное открытие: современные мультимодальные модели знают названия предметов,
но не понимают, как инструменты работают.
Этот бенчмарк даёт чёткий ориентир, где они пока “проваливаются”.

📘 Cтатья: https://arxiv.org/abs/2510.09507

🔥5❤4👏3

2.33K views18:02