🚀 Unsloth показал, как динамическая квантизация (Dynamic GGUFs) может радикально ускорить и облегчить работу LLM, не теряя качество.
В чём суть Обычные методы квантизации уменьшают разрядность весов модели одинаково для всех слоёв. Unsloth пошёл дальше: каждому слою подбирается своё число бит. - Ключевые слои → 6–8 бит (чтобы сохранить точность). - Второстепенные → 1–3 бита (для максимального сжатия).
Результаты, которых удалось добиться: - 671B DeepSeek-V3.1: сжатие модели с 671GB до 192GB (–75%). - 1-бит версия уже обгоняет GPT-4.1 и GPT-4.5 в «no-thinking» задачах. - 3-бит версия превосходит Claude-4-Opus в «thinking» задачах. - 5-бит версия догоняет и стабильно держит уровень SOTA.
🟢Почему это интересно: - Сжатие → модели становятся доступнее для запуска на меньших GPU. - Качество не падает, а иногда даже растёт за счёт умного распределения битности. - Тесты на Aider Polyglot benchmark показывают лучшие результаты среди существующих quant-моделей.
🟢Итог Dynamic GGUF от Unsloth — это не просто ещё один способ «урезать» модель, а технология, которая делает триллионные LLM компактными, быстрыми и при этом сверхточными.
🚀 Unsloth показал, как динамическая квантизация (Dynamic GGUFs) может радикально ускорить и облегчить работу LLM, не теряя качество.
В чём суть Обычные методы квантизации уменьшают разрядность весов модели одинаково для всех слоёв. Unsloth пошёл дальше: каждому слою подбирается своё число бит. - Ключевые слои → 6–8 бит (чтобы сохранить точность). - Второстепенные → 1–3 бита (для максимального сжатия).
Результаты, которых удалось добиться: - 671B DeepSeek-V3.1: сжатие модели с 671GB до 192GB (–75%). - 1-бит версия уже обгоняет GPT-4.1 и GPT-4.5 в «no-thinking» задачах. - 3-бит версия превосходит Claude-4-Opus в «thinking» задачах. - 5-бит версия догоняет и стабильно держит уровень SOTA.
🟢Почему это интересно: - Сжатие → модели становятся доступнее для запуска на меньших GPU. - Качество не падает, а иногда даже растёт за счёт умного распределения битности. - Тесты на Aider Polyglot benchmark показывают лучшие результаты среди существующих quant-моделей.
🟢Итог Dynamic GGUF от Unsloth — это не просто ещё один способ «урезать» модель, а технология, которая делает триллионные LLM компактными, быстрыми и при этом сверхточными.
Developing social channels based on exchanging a single message isn’t exactly new, of course. Back in 2014, the “Yo” app was launched with the sole purpose of enabling users to send each other the greeting “Yo.” As of Thursday, the SUCK Channel had 34,146 subscribers, with only one message dated August 28, 2020. It was an announcement stating that police had removed all posts on the channel because its content “contravenes the laws of Hong Kong.” In 2018, Telegram’s audience reached 200 million people, with 500,000 new users joining the messenger every day. It was launched for iOS on 14 August 2013 and Android on 20 October 2013. The group’s featured image is of a Pepe frog yelling, often referred to as the “REEEEEEE” meme. Pepe the Frog was created back in 2005 by Matt Furie and has since become an internet symbol for meme culture and “degen” culture. Just at this time, Bitcoin and the broader crypto market have dropped to new 2022 lows. The Bitcoin price has tanked 10 percent dropping to $20,000. On the other hand, the altcoin space is witnessing even more brutal correction. Bitcoin has dropped nearly 60 percent year-to-date and more than 70 percent since its all-time high in November 2021.
from us
