Telegram Web
🤖 Будущее за SLM, а не LLM? NVIDIA делает ставку на маленькие модели

Агенты в реальных сценариях выполняют ограниченный набор рутинных задач.
Для этого большие языковые модели избыточны - как суперкомпьютер для решения задач по школьной математике.

📌 Логика NVIDIA:
- Малые языковые модели (**SLM**) уже отлично справляются с простыми и повторяющимися задачами
- Экономия 10–30x за счёт правильного размера модели
- Для сложных рассуждений всё ещё можно подключить крупные LLM

Итог: будущее агентов - в гибридной схеме, где малые модели берут на себя повседневку, а большие включаются только тогда, когда действительно нужно.

Статья: arxiv.org/abs/2506.02153

@ai_machinelearning_big_data

#nvidia #slm #llm #aiagents
Forwarded from Machinelearning
🖥 Nvidia меняет стратегию и уходит от универсальных GPU.

Теперь каждый чип будет заточен под конкретный этап LLM-инференса.

Инференс делится на два шага:
- Prefill - первая стадия. Требует огромной вычислительной мощности, но почти не использует память.
- Decode - вторая стадия. Наоборот, сильно нагружает память, но вычислений нужно меньше.

Раньше, например, R200 объединял в одном GPU и мощные вычислительные блоки, и много памяти. В итоге это было дорого и неэффективно:
- при Prefill простаивает память,
- при Decode — простаивают вычислительные блоки.

🟢Новый подход Nvidia — разные GPU под разные задачи:

- Rubin CPX - оптимизирован для Prefill
• 20 PFLOPS вычислений
• 128 GB GDDR7
• 2 TB/s пропускная способность

- R200 — GPU под Decode
• 288 GB HBM4
• 20.5 TB/s памяти

📆 Планы компании:
- **2024–2025**-— линейка Blackwell (B200, GB300): рост вычислений и памяти.
- 2026–2027 - Rubin разделится:
• VR200 — для Decode (максимум HBM).
• CPX — для Prefill (много вычислений, дешёвая память).
- 2027 — VR300 Ultra: 66.7 PFLOPS и 1024 GB HBM4E.

Nvidia перестраивает линейку так, чтобы каждый GPU работал максимально эффективно именно под свой этап инференса.

#Nvidia #GPU #AI #Blackwell #Rubin #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
🛡️ Secure AI Agents at Runtime with Docker

AI-агенты открывают огромные возможности, но вместе с ними приходят и новые риски — особенно когда агент начинает выполнять код, а не просто его генерировать.
Docker предлагает практики и инструменты, чтобы сделать запуск таких агентов безопасным.

🔍 Основные угрозы
- Случайное удаление или изменение данных
- Уязвимости в Dockerfile или скриптах инфраструктуры
- Утечка секретов и несанкционированные вызовы API
- Неправильные конфигурации, которые могут открыть систему наружу

🔧 Как защититься с Docker
1. Hardened контейнеры — запуск в изоляции, минимум прав (seccomp, drop capabilities)
2. Сканирование образов — Docker Scout проверяет CVE и устаревшие пакеты
3. Runtime политики — блокировка нежелательных операций: запись файлов, сетевые вызовы, доступы
4. Наблюдение и логирование — мониторинг действий агента и анализ инцидентов

⚠️ Пример из практики
Агент сгенерировал конфигурацию Kubernetes, которая по умолчанию открывала внутренний сервис наружу.
CI этого не заметил. Если бы работали runtime-политики и изолированный контейнер, проблему поймали бы сразу.

Вывод: защита должна быть и при сборке, и при выполнении.
С Docker вы можете запускать AI-агентов безопасно, не жертвуя скоростью разработки.

🔗 Подробнее: https://www.docker.com/blog/secure-ai-agents-runtime-security
Forwarded from Machinelearning
⚡️ Александр Мордвинцев, исследователь из Google, создал цифровые системы на основе клеточных автоматов, где каждая клетка взаимодействует только со своими соседями.

Эти нейронные клеточные автоматы (Neural Cellular Automata) способны самособираться в заданные формы и даже восстанавливаться после повреждений.

В *Quanta Magazine* рассказали о том, как учёные научились обучать искусственные "клетки" собираться в заданные формы. Это похоже на игру «Жизнь» (*Game of Life*), но наоборот.

🧩 Что такое Game of Life?
Это простая компьютерная модель: есть сетка из клеток, у каждой клетки всего два состояния — «жива» или «мертва». Жизнь клетки зависит от соседей (например, если вокруг слишком много соседей, клетка умирает).
Обычно мы задаём правила и просто смотрим, что получится.
А теперь учёные сделали наоборот: сначала задаём цель (например, фигуру), а потом подбираем правила так, чтобы клетки сами в неё собрались.

⚙️ Что изменили учёные?
1. Непрерывные состояния - клетка не просто «вкл/выкл», а может быть наполовину активна. Это как лампочка с плавным регулятором яркости.
2. Скрытые переменные - у каждой клетки есть «внутренние параметры», которые влияют на её поведение. Представь, что у клетки есть «настроение» или «память», которое не видно исследователю напрямую.
3. Асинхронное обновление — клетки меняются в случайное время, а не все сразу. Это ближе к реальной жизни, где всё развивается не идеально синхронно.

💡 Зачем это нужно?
- Восстановление после повреждений: если часть фигуры «сломать», клетки могут достроить её заново.
- Децентрализация: нет главного управляющего - каждая клетка действует локально, но вместе они формируют систему.
- Устойчивость к шуму: клетки учатся справляться с хаосом и случайностями, а не просто повторяют выученный рисунок.

🟠Какие есть ограничения?
- Пока это работает для картинок и форм, но не для сложных живых организмов.
- Чтобы система умела «регенерировать», её нужно специально тренировать.
- Перенести эту идею в настоящие биологические клетки или роботов сложно — там много физических ограничений.

🟠 Где это можно применить?
- Медицина - модели самовосстановления тканей.
- Робототехника - рой роботов, которые без команды сверху сами собираются в нужную конструкцию.
- Материалы будущего — «умные» кирпичики или детали, которые сами подстраиваются под окружение.
- Новые вычислительные системы - компьютеры без центрального процессора, где решения рождаются распределённо.

Учёные показали, что нейронные клеточные автоматы можно рассматривать как модель эволюции: геном не задаёт форму напрямую, а запускает процесс её построения, что делает системы гибкими и адаптивными.

Главное отличие от природы в том, что эволюция не имеет цели, а автоматы обучают под задачу.

Эти модели предлагают новый тип вычислений: каждая клетка взаимодействует только с соседями, что делает архитектуру распределённой и потенциально энергоэффективной.

Уже есть впечатляющие результаты — от распознавания цифр и умножения матриц до решения задач вроде IQ-тестов и управления роями роботов, которые начинают вести себя как единый организм.

В итоге работы Мордвинцева соединяют биологию, компьютеры и робототехнику, возвращая к идее, что жизнь и вычисления — две стороны одного процесса.

🟢 Полная статья: https://www.quantamagazine.org/self-assembly-gets-automated-in-reverse-of-game-of-life-20250910/

@ai_machinelearning_big_data

#evolution #machinelearning #neuralnetworks #biology
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🕶 Цукерберг представил новые ИИ-очки Ray-Ban Display AI Glasses .

Очки должны поступить в продажу в конце сентября по цене 799 долларов.

По задумке, это почти что «очки Тони Старка»:
- дисплей с разрешением 600х600 пикселей
- встроенные микрофоны, камеры и динамики
- управление через голос или жесты с помощью ЭМГ-браслета
- экран сбоку: не мешает обзору и остаётся невидимым для окружающих

Идея проста — пользователь задаёт очкам команды, а они выводят информацию на дисплей или озвучивают её.

Выглядит впечатляюще, но во время публичного анонса произошёл конфуз: очки у Марка Цукерберга и его команды прямо на сцене начали лагать и не заработали должным образом.

Для премьеры устройства такого уровня — довольно заметный фейл.
Акции компании сразу же поползли вниз.

🟠 Анонс

@neural
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🩺 GPT-5 обогнал врачей в медицинских задачах

Исследователи проверили GPT-5 на реальных тестах для медицины: анализ текста и изображений вместе — так, как это делают врачи каждый день.

📊 Что получилось:
- +29,6% к уровню рассуждений
- +36,2% к пониманию информации
- В некоторых заданиях GPT-5 дал более точные ответы, чем врачи

Это уже не «бот для забавных фактов». ИИ выходит на уровень клинического мышления: он учится ставить диагнозы и принимать решения.

Да, ошибки и «галлюцинации» ещё бывают. Но направление ясно: ИИ быстро сокращает разрыв в самой важной области медицины — диагностике.

Когда ИИ начнёт читать снимки лучше врача — на чьё решение вы захотите опираться: человека, алгоритма или обоих вместе?
🚀 EmbeddingGemma — лёгкие SOTA-эмбеддинги

🔹 308M параметров, построена на Gemma 3
🔹 Лидирует в MTEB среди моделей <500M (мультиязычные, английский, код)
🔹 По качеству сопоставима с моделями в 2 раза больше
🔹 Эффективна даже при 4-битной квантовке и 128-мерных эмбеддингах

⚙️ Технические фишки:
- инициализация через encoder-decoder + геометрическая дистилляция,
- spread-out регуляризатор + model souping для устойчивости.

📱 Подходит для on-device сценариев и задач с высоким пропуском (high-throughput).

https://ai.google.dev/gemma/docs/embeddinggemma?hl=ru

#AI #Embeddings #Gemma3 #MTEB #NLP
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
✔️ Tencent представила Hunyuan3D-Omni: первую в индустрии модель для генерации 3D-объектов с мультиконтрольным управлением.

Модель ростроенная на базе open-source Hunyuan3D 2.1 и называемая «ControlNet для 3D», система решает проблемы кривых генераций и искажённой геометрии, интегрируя до четырёх условий контроля.

Две ключевые инновации:
- Лёгкий унифицированный энкодер управления для эффективного мультимодального фьюжна
- Стратегия прогрессивного обучения по сложности, повышающая устойчивость модели

Возможности:
- Управление по одному изображению и наброску позволяет точно задавать позы для анимаций и аватаров
- Использование облака точек (полного или построенного по глубине): убирает визуальную неопределённость и обеспечивает реалистичную геометрию
- Контроль через bounding box: задаёт пропорции объекта (длину, ширину и высоту) в соответствии с дизайном
- Voxel-контроль: формирует топологию объекта, что удобно и для инженерных, и для творческих сценариев

Tencent дропнули код и веса.

🟢Код: https://github.com/Tencent-Hunyuan/Hunyuan3D-Omni
🟢Веса: https://huggingface.co/tencent/Hunyuan3D-Omni
🟢Отчёт: https://arxiv.org/pdf/2509.21245

@ai_machinelearning_big_data


#3DGenAI #TencentHunyuan #OpenSourceAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Менять автоэнкодер в latent diffusion моделях проще, чем кажется.

🚀 DC-Gen — это новый фреймворк для ускорения диффузионных моделей после обучения.
Он переводит любую готовую модель в глубоко сжатое латентное пространство, снижая затраты и многократно ускоряя генерацию.

🔑 Основное
- Высокое разрешение без потерь качества
Версия DC-Gen-FLUX.1-Krea-12B выдаёт то же качество, что и оригинал, но работает в 53 раза быстрее на H100 при 4K.
С NVFP4 картинка 4K генерируется всего за 3.5 секунды на одной NVIDIA 5090 (20 шагов).
- 💸 Низкая стоимость адаптации
Перевод FLUX.1-Krea-12B в глубоко-сжатый автоэнкодер требует всего 40 GPU-дней на H100.

📄 Статья: https://arxiv.org/abs/2509.25180
💻 Код: https://github.com/dc-ai-projects/DC-Gen
🎨 Модели : https://huggingface.co/collections/dc-ai/dc-gen-6899bb095082244f396203e1

#diffusion #deeplearning #AI
Media is too big
VIEW IN TELEGRAM
GigaChat Vision Team — ваша будущая команда! 😉

Если вы зарегистрируетесь на One Day Offer для NLP- и CV-инженеров и пройдёте все этапы отбора, то уже совсем скоро будете:

✔️ Обучать Vision, 3D/CAD и омни-модальные модели на тысячах A100/H100.
✔️ Создавать live-ассистента на edge-устройствах, а также базовые модели VLA для промышленных проектов: автоматизированных фабрик, автопилотов и роботов.
✔️ Работать с документами: Document Intelligence и разработка VLM OCR.
✔️ Развивать мультимодальную инфраструктуру: от инференса генеративных моделей до создания и авторазметки синтетических данных

Дублируем ссылку на регистрацию — до встречи 4 октября!
🏗️ Новый тренд в AI-инвестициях: вместо привычных «Magnificent Seven» (Apple, Microsoft, Nvidia и др.) инвесторы начинают ставить на Oracle, Broadcom и Palantir как на следующих лидеров.

📊 Что важно знать:
- Oracle заключила контракт с OpenAI на $300 млрд и уже имеет заказы на $455 млрд. Строит новые дата-центры на 4.5 ГВт. Акции выросли на 60% за год.
- Broadcom делает полу-кастомные чипы для Google, Meta и скоро для OpenAI. Недавно получила заказ на $10 млрд. В Q4 ожидается $6.2 млрд выручки от AI.
- Palantir показывает взрывной рост на фоне AI: +48% к выручке во 2 квартале 2025, а акции подскочили на +386% за год. Но бумаги считаются рискованными из-за высокой оценки.
- Axon использует AI для обработки видео с бодикамер — система сама пишет черновики полицейских отчётов.
- SK Hynix зарабатывает на памяти для мегапроекта OpenAI Stargate.
- Nvidia остаётся главным игроком ($4.5 трлн капитализации), но появляются новые конкуренты вроде CoreWeave и кастомных чипов.

💡 Главный вывод: рост в AI всё больше идёт не только за счёт «больших» компаний, а через инфраструктуру, крупные заказы и специализированные чипы.

Источник: afr.com/markets/equity-markets/fund-managers-tip-the-next-winners-of-the-ai-revolution-20250929-p5myml

#AI #инвестиции #акции #cloud #chips
🔥 Полезный репозиторий с готовыми к запуску облачными шаблонами для RAG, конвейеров ИИ и корпоративного поиска с данными в реальном времени!

🖥 Github

#ai #machinelearning
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Австралийский стартап Crest Robotics из Сиднея представил гигантского паукообразного робота по имени Charlotte.

Он умеет 3D-печатать целые здания, используя сырьё, которое перерабатывает прямо на месте строительства.

Следующая цель команды — научить Charlotte строить сооружения на Луне.
Кто понял, тот понял 🩸
Please open Telegram to view this post
VIEW IN TELEGRAM
2025/10/24 16:21:59
Back to Top
HTML Embed Code: