Как оптимизировать инференс на ноунейм-плате

Всё больше моделей запускаются на конечных устройствах: в телефонах, роботах, колонках, автомобилях, домофонах и т.д. — у всех разные ОС и архитектуры, а значит и свои нюансы инференса моделей. На лекции мы разберём как раз такой случай из практики с кучей нюансов и их решениями!

Советуем прийти, если вы:
— никогда не ускоряли модели
— ускоряли, но не для эдж-девайсов
— ускоряли для эджей и у вас есть вопросы

🗓 25 сентября, четверг, 18:00 МСК

На лекции узнаете:
➖ как снизить стоимость инференса на примере автономного автомобиля
➖ как запустить Vision transformer на плате Texas Instruments
➖ о проблемах запуска трансформеров на кастомных платах с NPU
➖ про применение прунинга к таким платам

В конце представим новый поток курса «Ускорение нейросетей». Всем участникам лекции подарим скидки на обучение!

🙋‍♂️Спикеры лекции:
— Александр Гончаренко — CTO ENOT.аi, хэдлайнер курса Ускорение нейросетей
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay

Регистрируйтесь на лекцию по ссылке!

🎁После регистрации вы получите туториал по использованию TensorRT и OpenVino.

До встречи 25 сентября в 18:00 МСК!

⏰ Встречаемся через 3 часа

Сегодня на примере реальной задачи разберём, как запустить трансформер на плате с NPU. Обсудим проблемы, которые с этим связаны, и как их решать!

А также представим программу курса Ускорение нейросетей и подарим скидки участникам лекции ⚡️

Вы ещё успеваете зарегистрироваться!
Приходите сегодня в 18:00 МСК!

Что происходит в LLM. Октябрь 2025

Несмотря на то, что LLM — главный хайп последних 2 лет, вокруг больших моделей остаётся много путаницы и заблуждений. Чем отличаются модели? Надо ли доучивать модель? Хостить или ходить по API? На что можно рассчитывать при построении агента или RAG-системы? Почему у кого-то работают RAG и агенты, а кто-то вовсе в них разочаровался?

Ответим на эти и другие вопросы на онлайн-лекции в четверг! За полтора часа дадим актуальный срез индустрии вокруг LLM:
— актуальные модели и их свойства
— бенчмарки
— self-host VS API
— типы задач
— главные «болячки» ванильных решений
— и актуальные советы по их лечению

Спикер — Дмитрий Калашников, NLP Team Lead в Яндексе🔥

А ещё мы расскажем про наш курс «LLM», где объясняем теорию LLM, учим промптингу, дообучению, элайменту, построению RAG, агентских-систем и деплою — всё под кураторством опытных инженеров.

Всем участникам лекции мы подарим скидки на обучение 🎁

📅 Встречаемся в четверг, 9 октября в 18:30 МСК!

Регистрируйтесь по ссылке и приходите на лекцию в четверг!

Разберитесь, как устроены LLM и как с ними работать

Если вы хотите научиться использовать большие языковые модели правильно, то приходите на нашу программу «LLM»!

16 октября стартует новый поток курса, который прошло уже почти 200 человек.
Вы разберётесь в теории, научитесь промптингу, дообучению, элайменту, построению RAG, агентских систем и деплою LLM.

В этом вам помогут опытные инженеры из разных доменов, компаний и стран. Вы будете встречаться раз в неделю, где сможете задавать вопросы прямо во время онлайн-лекций.

На сайте вы можете прочитать отзывы наших выпускников. Там они делятся, как курс пригодился им на собеседованиях, что они использовали в своих проектах, как стали брать новые задачи на работе и другими впечатлениями о программе.

До старта осталось меньше недели, а до 15 октября для вас действует скидка 5%,поэтому успевайте присоединиться!🔥

Если у вас есть вопросы, то пишите в нашу поддержку @deepschool_support — поможем со всем разобраться, расскажем подробнее про курс и подойдёт ли он вам.

Переходите на сайт, изучайте программу, спикеров, отзывы и записывайтесь на ближайший поток!

DeepSchool Digest⚡

Собрали для вас подборку за сентябрь! Надеемся, вы не пропустите интересные вам материалы🔥

Как уменьшить время сборки и размер Docker-образов? — рассмотрели методы, которые помогут уменьшить размеры образов и ускорить процесс их сборки.

Краткая история механизма внимания в NLP — рассказали историю появления и развития механизма внимания.

Сервинг модели Grounding DINO с BentoML — показали пример, как обернуть модель Grounding DINO при помощи другого популярного фреймворка, BentoML.

Как запрунить свою первую модель? — в видео Александр Гончаренко, CTO enоt.аi и хэдлайнер курса «Ускорение нейросетей», рассказал, что такое прунинг и с чего начать его применение.

Когда память дороже точности: приближённые структуры данных — разобрали популярные структуры данных с константным потреблением памяти.

LLM для кодинга | Подкаст «Под Капотом» с Максимом Шапошниковым — обсудили, достигли ли предела в развитии языковых моделей, и рассмотрели, как интегрировать LLM в свои проекты, устроиться на работу в Амазон и без PhD пройти на исследовательскую позицию!

Active learning

Active learning — это непрерывный цикл выбора данных, их разметки и обучения модели. От выбора данных для разметки зависит, сколько ресурсов будет потрачено для достижения целевых метрик в проекте. В новой статье рассматриваем одну из важнейших задач Active learning — отбор объектов 🫵

Из новой статьи вы узнаете:
- о концепции Active learning
- популярные методы отбора объектов: Entropy Sampling, Query-by-Committee, Bayesian Active learning by Disagreement (BALD) и др.
- сильные и слабые стороны рассмотренных методов

Читайте статью по ссылке! 👀

⚡️ Если хотите научиться решать сложные задачи в Computer Vision, то приходите на наш курс CV Rocket. Запишитесь в лист ожидания, чтобы получить скидку до 20%