Интересный практический кейс про "секретный трансформерский язык", когда вам может казаться, что ИИ пишет какой-то бред, но вот для другого ИИ это крайне ценная семантика.

Сейчас занялся интеграцией в программу учебных курсов "последних достижений науки и техники". Для этого взял Qwen 3 Next и Gemini Pro, стал сбрасывать контекст с задачей update старой программы обучения. Ответы Gemini выглядели красиво, а вот ответы из Mamba ИИ от Qwen через некоторое время стали выглядеть "сумбурно", ну я просто механически довел сессию и с Mamba и стал делать консолидацию брейншторма в другом Gemini по финальную программу обучения. Скинул ему граф контекста из Gemini другой сессии и просто для интереса Mamba-граф.

И тут произошло маленькое чудо, что вы видите на скриншоте. Gemini Pro заметил, что Mamba глубже проникает в концепции на уровне акцентов и дает более целостное восприятие. Любопытно, что без "переинтерпритации" ответа Mamba от GPT затруднительно было всю глубину понимания Mamba модели. Однако это ожидаемо. Модели как Qwen 3 Next просто целью своего обучения имеют построение крайне эффективного аналога графа по контексту, т.к. у ИИ этого класса кроме него вообще ничего не остается (контекст он больше не видит).

Однако, что для дешифровки глубоких концептуальных идей Mamba для человека иногда нужен сильный GPT неочевидная идея. Тем не менее, возьмите на вооружение прием.

Я думаю, что после Qwen 3 Next с нами Mamba модели остались надолго и займут свое место там где их плюсы перевешивают минусы

Многие сейчас переходят от экспериментов однопользовательского варианта локальных установок ИИ на многопользовательские. Тут многие разработчики сразу же сталкиваются с тем, что не веса, а именно размах размера KV Cache является основным ограничением решения. Чтобы его оценить можно использовать этот калькулятор.

Тут важно еще понимать, что "удар по памяти" проходит в конкретной фазе как prefill у KV Cache, т.е. когда вы только отправляете свой большой промпт и модель только начала его читать. Вот уже на инференсе по токену есть куча разных оптимизаций и инноваций, где можно попробовать освободить много памяти, но prefill - основное бутылочное горло.

Mamba-модели как Qwen 3 Next не имеют KV Cache для своих Mamba-головок, только для GPT-головок на их ASW около 2000-4000 токенов (около 600 Мб).

https://huggingface.co/spaces/gaunernst/kv-cache-calculator

Вышла квантированная версия Qwen 3 Next. Всего модель уже скачали 1,275,000 раз за 1 неделю. Это примерно сколько скачивают за 1 месяц самую популярную модель Qwen из относительно больших - Qwen3-30B-A3B-Instruct-2507.

Если сравнивать эти две модели, то Qwen3-30B-A3B на самом деле SLM, а не LLM. Если Qwen 3 Next проходил настоящее LLM обучение и обучен self-correction и распознаванию целей пользователей, то Qwen3-30B-A3B учился только с учителем и является "GPT-попугаем", т.е. реагирует на паттерны текста, больше чем на смысл.

Если пользователей мало и контекст короткий, то Qwen3-30B-A3B выгоднее по памяти. Однако если контекст заметный по размеру и число пользователей растет, то Qwen 3 Next будет занимать меньше RAM. Также Mamba быстрее работает. Ее Mamba-эксперт на 3B примерно в 3 раза быстрее эксперта на 3B у традиционных MoE.

Но выбор корпоративной инсталляции скорее будет определять память, т.к. главное ограничение.

https://huggingface.co/Qwen/Qwen3-Next-80B-A3B-Instruct-FP8

Пока сейчас нет независимых тестов Qwen 3 Next по расходу памяти и скорости. Однако можно предполагать, что результат будет не хуже, чем уже существующего гибрида Mamba+GPT как Jamba.

Хотя сам Mamba не требует KV Cache, но он нужен для гибридных GPT головок, тут сильно зависит от дизайна. В случае Jamba на 256K он был ~4 GB (16-bit), для сравнения на Llama-2 70B он был 128 GB. Правда нужно учитывать, что у Jamba их GPT головки работают на деле по всему контексту через sparse attention, но очень разряженный, а у Qwen фиксированное Attention Sliding Window в 2000-4000 токенов в конце контекста, что намного компактнее по памяти, а также оптимизированно под FlashAttention-2 через сверхоптимизированные ядра H100 со скоростью 55.000 токенов в секунду.

Mamba головки намного меньше в размере GPT-головок (у Qwen это 128x128) и им нужны короче в 6-7 раз вектора, т.к. Mamba представление более богатое семантикой, чем у GPT. Поэтому у Jamba получалось в 3 раза выше скорость чем у Mixtral. Примерно такую же 3х кратное преимущество на том же числе активных весов декларирует и Qwen.

Сама по себе Jamba по поему опыту работала весьма сносно на генерации различных длинных рассказов. Наличие Mamba state позволяло ей четко придерживаться цели и плана повествования. Недостаток Jamba был в том, что хотя качество ее приемлемое, но LLM все же была заметно глупее других LLM на рынке и конечно не могла нормально цитировать, что уже прочла. Я для цитат таскал "семантическую капсулу" с ней. В случае Qwen 3 Next у него SOTA уровень по интеллекту. Если убрать Style Control на Арене, то у него рейтинг на уровне Claude 4 Opus в Hard prompts и Coding.

https://arxiv.org/html/2403.19887v2

Появились первые тесты Qwen 3 Next на малых системах потребительского класса у пользователей Apple Mac Studio (около $5000)

Виден полный разгром GPT моделей от Qwen 3 Next на длинных контекстах в малых системах. 80к токенов в сравнимой GLM 4.5 Air обрабатывается 15 минут, а Qwen 3 Next на том же оборудовании - 1,7 минуты.

Важнее наблюдение за ростом памяти от контекста у Qwen 3 Next. Вероятно это порядка 1-2 Гб на контексты свыше 36.000 токенов и дальше не растет.

https://www.reddit.com/r/LocalLLaMA/comments/1ni2chb/qwen3next_80b_mlx_mac_runs_on_latest_lm_studio/

Надо сказать, что тесты Qwen 3 Next пользователями Apple обратили мое внимание их решения и во много это объясняет невероятную капитализацию Apple. Дело уже не iPhone, а именно больших успех Apple в создание малых ИИ решений "под ключ".

Максимально заряженный Apple M3 Ultra chip with 32-core CPU, 80‑core GPU, 32-core Neural Engine
512GB unified memory обойдется вам в $9,499. Это смешная сумма даже для малого бизнеса.

Хотя пропускная способность памяти 1.2 TiB/s у M3 Ultra уступает 3.35 TiB/s для H100 SXM5, но у Nvidia это только внутри GPU, а на обмене PCIe происходит у Nvidia около 30% потерь.

Я бы отметил в связи с этим опять сомнение о перспективах SLM, экономический барьер применения нормальных LLM стремительно обваливается для локальных решений.

https://www.apple.com/shop/buy-mac/mac-studio/apple-m3-ultra-with-28-core-cpu-60-core-gpu-32-core-neural-engine-96gb-memory-1tb

Qwen продолжает выпускать как из рога изобилия новые модели, которые могут работать на простом оборудовании.

Вышел Qwen3-Omni-Flash, который с огромной скоростью анализирует не только фото, но и видео. Причем ИИ справился хорошо с моим шутливым роликом "Все любят Mamba!", т.к. понял, что это пародия, а реально рекламируется Qwen 3 Next. Скорость обработки видео впечатляет. У кого задача анализа видео, точно серьезное решение.

https://chat.qwen.ai/?models=qwen3-omni-flash

https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct

Как я уже отмечал по статистике Open Router, это Телеграм-иллюзия, что есть "преданные фанаты" Claude или Gemini. Стоило Маску дропнуть ценник на Grok, так все побежали к нему.

У xAI в реале 56% (!) рынка генерации кода по Open Router. У меня есть объяснение почему стала разваливаться дуполия Claude-Gemini в пользу новых игроков.

Причина в 3х факторах:
1. Разработчики стали опытнее с ИИ, поэтому стали применять интенсивное моделирование архитектуры и требований до начала создания кода. По факту у себя в GRACE я тут систематизирую многие бестпрактики, но основной момент, что по нормальным моделям ИИ намного легче генерировать код и требования к качеству LLM на деле снижается. Более хорошая методика разработки требует меньше закрывать самим LLM косяков разработчиков.

2. Все больше кода создано ИИ у разработчиков. Часто применяются и контракты и семантические разметки как в GRACE. Такой код AI Friendly и его ИИ намного легче править, опять же снижаются требования к качеству LLM.

3. Вендоры сильно подтянулись в тесте SWE Bench. Замеры разных методик, сам xAI померил 70%, другие - 58%, но это тоже много. По факту для правок большого кода LLM всех топовых вендоров довольно хороши.

Если кратко, то тренд переключился с "задачи-фикс" найти LLM в духе "волшебной палочки", которая делает все сама, такое невозможно, в пользу все более провинутых методик работы с LLM на генерации кода. Это в свою очередь привело к тому, что разработчики стали меньше зависимы от вендоров ИИ и больше реагируют на цену.

Искусственный интеллект стал трамплином невиданной карьеры для некоторых программистов.

Клэй Магоурк был просто программистом Amazon. В 2014 году переходит в Oracle и двигает идею облачных ИИ вычислений, Ларри Эллисон ему доверился.

Сейчас Oracle достиг почти 1 триллиона долларов. Ларри хотя и выглядит молодо, но ему уже 81 год. Поэтому он известил биржу, что медленно передает дела Клэю.

Из программистов в руководителя концерна в 1 триллион долларов.

Вот что ИИ животворящий делает! 😎

https://www.businessinsider.com/oracle-two-new-co-ceos-2025-9

Новая неросетка для вас. Угадайте, кто опять :) конечно Qwen, редактор изображений в этот раз, размахивают тестами, доступно уже в чате.

Ранее хакеры КНДР подделывали паспорта с помощью Chat GPT, там их забанили.

Решение найдено :)

https://github.com/QwenLM/Qwen-Image?tab=readme-ov-file

Qwen выпустил нейросетку для аудио. Кто оцифровывает всякие разговоры сейлов вероятно им.

В чате Qwen доступны аудио и видео беседы с ИИ.

Русский поддерживается

https://qwen.ai/blog?id=b4264e11fb80b5e37350790121baf0a0f10daf82&from=research.latest-advancements-list

Цены на ИИ во всех категориях продолжают резко снижаться, правда при росте рынка в 10 раз по потреблению токенов вряд-ли вендоров расстраивает такая ситуация

Китайцы из Unitree прочитали очередную ерунду американской прессы, что от ИИ можно спастить работягой.

У них для тех кто думает, что рабочих ИИ не догонит вот такое. И стоит уже механика $10К.

По факту нужно решить вопрос локальных мозгов, но SLM слишком слабые для гуманоидов.

Навайбкодил маленькую утилиту для исследования токенизации Qwen. Из нее следует, что для Qwen наиболее родные форматы XML и HTML. В разных комбинациях есть около 2000 токенов в духе <select, <option, <input или >The, >This, >You, >If, >We, >All

В тоже время не прослеживается такое спаривание слов с токенами с фигурными скобками JSON. Осмысленный пример стыковки как {Name вообще один, так с фигурными скобками есть скорее разные синтаксические комбинации как {| или '){

Саму токенизацию определяет ИИ сам на обучении, такая токенизация на деле еще одно доказательство, что JSON понимает ИИ хуже, чем XML. Однако интересное наблюдение, что HTML очень хорошо понимается ИИ, хотя это вроде бы и следовало ожидать, т.к. огромное количество данных Интернет просто HTML страницы, но мало кто из специалистов подает контекст в HTML намеренно.

Вышел релиз Qwen 3 Max.

Судя тестам, он заметно лучше preview в основном тесте программирования сейчас - SWE Bench, т.е. способности делать фиксы в программах 100+ тысяч строк. Уровень 70% современных ИИ на деле означает, что даже если вы ИИ агенту не помогаете и ваш код в бардаке, то все равно 70% вероятности, что ИИ агент автономно пофиксит его. Если вы агенту еще помогаете AI Friendly оформлением кода и логов, то вероятность успешных фиксов еще выше.

TAU-2 тест - это агентский тест, тут среднее по 8 основным тестам. По факту Qwen 3 Max стал конкурировать с Claude в нише премиальных ИИ агентов, которых ставят в ERP решения и т.п.

SuperGPQA - это тест по 285 (!) специальностям высшего образования, которые сгруппированы в направления:
- базовые науки (физика, математика и т.п.)
- экономика
- медицина
- философия
- инженерные науки
- социология
- сельское хозяйство
- литература и искусство
- менеджмент
- военные науки
- педагогика
- история
- юриспруденция

Фактически мы пришли к ситуации, когда современные ИИ получили дипломы высшего образования по всем основным специальностям. Текущее высшее образование все больше теряет смысл в части просто запоминания чего-то и применения этих знаний линейно, все это уже может ИИ не хуже среднего выпускника.

https://qwen.ai/blog?id=241398b9cd6353de490b0f82806c7848c5d2777d&from=research.latest-advancements-list

Следующее достижение Qwen, а также Chat GPT и Grok.

Можно сказать, что "эта математика и этот Гарвард сломались, несите других!"

Qwen, Open AI и xAI смогли на 100% пройти тест олимпиадной математике AIME25, если ИИ дать возможность программирования на Питоне решение и в режиме отладки. Это говорит также об мощной эрозии математических знаний. Вам нужно знать ЗАЧЕМ какие-то математические действия, и то не всегда, но практически применят матаппарат и через программирование ИИ лучше. Тест сложной математики через Python также показал, что ИИ взял в программировании новую планку - нише математических алгоритмов теперь за ИИ генерацией кода.

HMMT25 - это олимпиада Гарварда по способности не просто знать, а уметь применять студентами знания. Гарварду что-то надо менять, т.е. Qwen и GPT-5 также решили их 100% задач. Эрозия высшего образования от ИИ все более видна в том плане, что это уже эрозия ЭЛИТАРНОГО высшего образования.

Интересный еще момент в тестах GPQA на высшее образование в разных специальностях, видно,что если ИИ дать Питон, то количество верных ответов вырастает с 60-65% до 85-90%. Это показывает опять мощь ИИ в программировании, он овладел важнейшей темой "прикладного программирования".

Qwen обновил свой Qwen Coder. Прогресс за 2 месяца ИИ в программировании даже без смены архитектуры LLM.

Кто ещё хочет рассказать сказки, что ИИ "вышел на плато"?

Qwen продолжает зажигать. Перестановка предметов и изменение позы по "склету". Сколько стартапов погибло за 1 день...

Никогда не играйте на поляне большого вендора

"Астановитесь!"

Qwen выпустил новый Open Source редактор видео

https://github.com/Wan-Video/Wan2.2