🚀 Unsloth показал, как динамическая квантизация (Dynamic GGUFs) может радикально ускорить и облегчить работу LLM, не теряя качество.

В чём суть
Обычные методы квантизации уменьшают разрядность весов модели одинаково для всех слоёв.
Unsloth пошёл дальше: каждому слою подбирается своё число бит.
- Ключевые слои → 6–8 бит (чтобы сохранить точность).
- Второстепенные → 1–3 бита (для максимального сжатия).

Результаты, которых удалось добиться:
- 671B DeepSeek-V3.1: сжатие модели с 671GB до 192GB (–75%).
- 1-бит версия уже обгоняет GPT-4.1 и GPT-4.5 в «no-thinking» задачах.
- 3-бит версия превосходит Claude-4-Opus в «thinking» задачах.
- 5-бит версия догоняет и стабильно держит уровень SOTA.

🟢Почему это интересно:
- Сжатие → модели становятся доступнее для запуска на меньших GPU.
- Качество не падает, а иногда даже растёт за счёт умного распределения битности.
- Тесты на Aider Polyglot benchmark показывают лучшие результаты среди существующих quant-моделей.

🟢Итог
Dynamic GGUF от Unsloth — это не просто ещё один способ «урезать» модель, а технология, которая делает триллионные LLM компактными, быстрыми и при этом сверхточными.

⭐Пост: https://docs.unsloth.ai/basics/unsloth-dynamic-ggufs-on-aider-polyglot

#Unsloth #LLM #Quantization #AI #AiderPolyglot

🖥 HunyuanImage 2.1 теперь доступна в квантизованной версии!

Это text-image модель, которая может генерировать изображения в 2K.

Теперь модель можно запускать локально. Для этого необходимо минимум 24GB VRAM.

🟢Hugging Face: https://huggingface.co/tencent/HunyuanImage-2.1)
🟢Подробнее про модель: https://www.tgoop.com/machinelearning_interview/2161

@ai_machinelearning_big_data


#AI #HunyuanImage #StableDiffusion #ImageGeneration

🧠 mem-agent — агент с памятью в стиле Obsidian

Лёгкая LLM-модель, которая умеет хранить знания в человеко-читаемой памяти (Markdown-файлы) и использовать их для ответов. Агент не просто отвечает на запросы, а действительно «помнит» факты и обновляет их по ходу работы.

Это агент на 4B с локальной, совместимой памятью для Claude, ChatGPT и LM Studio.

Как работает память:
- Вся информация лежит в Markdown: memory/user.md и отдельные файлы для сущностей.
- Связи между файлами сделаны как в Obsidian: [[entity]].
- Агент может извлекать факты, обновлять их или задавать уточняющие вопросы, если запрос неполный.

Вместо огромных контекстов и упора в лимиты, Mem-Agent извлекает нужные фрагменты из локальных документов, сжимает их и передаёт агенту.

Как обучали:
- Базовая модель: Qwen3-4B-Thinking-2507.
- Использовали метод онлайн-RL (GSPO).
- Тестировали на md-memory-bench.

Результаты:
- mem-agent уверенно решает задачи памяти, близко к уровню больших моделей.
- Даже в сжатых версиях (4-bit и 8-bit) сохраняет почти то же качество.

Чем хорош:
- Память можно читать и редактировать вручную.
- Агент работает быстро и эффективно, даже в маленьком размере.
- Удобен как компонент в более крупных системах (например, через MCP).

🟠Model: https://huggingface.co/driaforall/mem-agent
🟠Blog: https://huggingface.co/blog/driaforall/mem-agent
🟠Repo: https://github.com/firstbatchxyz/mem-agent-mcp

@ai_machinelearning_big_data


#LLM #AI #Agents #MemAgent #Dria #MCP #LocalAI