⬆️⬆️⬆️

Ура, анонс ☺️ Никита показал то, над чем мы небольшой командой горели последнее время. В этот курс вложено невероятное количество сил

Собрать простой прототип агента сейчас несложно. Сделать его надежным и управляемым - задача другого уровня. Именно этому и посвящен курс: мы покажем, как выстроить систему, которую можно оценивать, масштабировать и развивать.

Пост назад я уже приоткрыл «внутреннюю кухню» подготовки, а скоро покажу еще пару интересных примеров

Главный баг Software 3.0

Представьте: вы пишете идеальный промпт, получаете блестящий код, а на следующий день тот же промпт выдает полную ерунду. Добро пожаловать в Software 3.0 - эру, где Андрей Карпатый (мой любимый вайб кодер) предсказал (вот его крутое выступление), что промпты станут новым «языком программирования». Но у этой революции есть фундаментальная проблема, с которой сталкивается каждый, кто пытался получить от модели два одинаковых ответа подряд

Главный парадокс Software 3.0 в том, что переход к простому языку привел к сложной проблеме - невозможности точно воспроизвести результат. Даже при temperature = 0 (режим, который должен быть максимально детерминированным) модели ведут себя непредсказуемо. Исследования показывают, что вариации в точности ответов от запуска к запуску могут достигать 15%. Откуда берется эта случайность?

➡️ Три уровня недетерминированности LLM
Проблема воспроизводимости - это не просто баг, который можно исправить. Она заложена в саму природу современных вычислений на нескольких уровнях

1. Аппаратный уровень
Когда вы запускаете модель на GPU, вы имеете дело с тысячами параллельных ядер. Из-за особенностей архитектуры и арифметики с плавающей запятой, результат операции (a + b) + c не всегда равен a + (b + c). Порядок выполнения этих микроопераций может меняться от запуска к запуску в зависимости от того, какое ядро закончило вычисления на наносекунду раньше

2. Программный уровень
Библиотеки вроде PyTorch и cuDNN, на которых работают все современные модели, содержат алгоритмы, которые по своей природе недетерминистичны. Например, некоторые операции свертки или пулинга специально сделаны такими для повышения скорости. Разработчики сознательно идут на компромисс, жертвуя воспроизводимостью ради производительности

3. Архитектурный уровень
Современные модели используют архитектуру Mixture-of-Experts (MoE). Представьте, что это команда из нескольких узкопрофильных специалистов (экспертов). Для обработки вашего запроса модель выбирает нескольких наиболее подходящих. Но из-за сложной внутренней маршрутизации, в следующий раз для точно такого же запроса может быть выбран немного другой состав «команды экспертов», что приведет к иному результату

А есть примеры из жизни?
Пример 1️⃣
Недавно показали игровой движок Hunyuan GameCraft от Tencent. Он способен в реальном времени генерировать игровые сцены, но разработчики столкнулись с ключевой дилеммой: либо мир стабилен, но плохо реагирует на действия игрока, либо он отзывчив, но постоянно «плывет» и теряет консистентность. Наглядный пример недетерминированности на практике

Пример 2️⃣
Концепт Gemini Computer от Google. Это операционная система, где каждый элемент интерфейса генерируется LLM на лету. Выглядит футуристично, но в их же демо отлично видно фундаментальную проблему: генерация изначально не подразумевает строгой воспроизводимости. Кнопка «Сохранить», которая была слева, после следующего клика может оказаться справа или вообще изменить название

Пример 3️⃣
Проблему накопления ошибок в LLM отлично иллюстрирует аналогия с квантовыми компьютерами. Представьте, что точность одной квантовой операции - 99%. Звучит неплохо. Но если для вычисления нужно провести 1000 таких операций, общая надежность падает до 0.99^1000, что практически равно нулю. С LLM происходит то же самое: при генерации длинного текста или кода крошечные отклонения накапливаются, и финальный результат «уплывает» далеко от первоначального замысла

➡️ GitLab для эпохи Software 3.0
Так что же делать в этом дивном новом мире?

Лично мне видится решение в виде надстройки для привычных систем вроде GitLab, которая будет версионировать не одну, а сразу три плоскости нашего проекта:

🔵Код - финальный артефакт, как и сейчас
🔵Промпт - инструкция, которая сгенерировала этот код
🔵Модель - конкретная версия LLM (например, Gemini 2.5 Flash Preview 04-17)

Это позволит отслеживать всю цепочку создания продукта и откатываться к стабильной связке «промпт-модель»

Эпоха Software 3.0 требует новых инструментов, и, похоже, нам предстоит их создать 💪

BERTScore vs косинус: лайфхак для подготовки к конференции с помощью алгоритмов RAG-а

Недавно готовился к выступлению на AhaConf, а это, на минуточку, 70+ спикеров и 1000+ слушателей. Сразу возникает классическая проблема: как сделать свой доклад уникальным и не повторить то, что уже рассказали до тебя?

Многие думают, что RAG - это какая-то сложная штука для enterprise-задач. Но на деле это просто очень здравый подход к работе с информацией. И я применил его при подготовке к выступлению: нашел релевантные данные (Retrieval) в программе конференции, чтобы улучшить свое выступление. Получился такой RAG для одного человека

Зачем вообще искать похожие доклады?

Главный страх любого спикера - выйти на сцену и понять, что твою ключевую мысль только что озвучил предыдущий оратор. Чтобы избежать этого фейла и выжать из конфы максимум, я поставил две цели:

1️⃣Дифференцироваться от коллег. Найти тех, кто говорит на смежные темы, чтобы скорректировать свой доклад, добавить уникальности и не лить воду, которую слушатели уже слышали

2️⃣Нетворкинг. Заранее вычислить «своих» по духу и темам. С таким списком можно подходить в кулуарах не с банальным «чем занимаешься?», а с конкретным «слушай, видел твой доклад про X, у меня как раз очень похожий кейс»

План эксперимента: старый добрый косинус против BERTScore

Мой план был прост:

1️⃣Собрать данные: выгрузить все названия и описания докладов

2️⃣Измерить близость: прогнать каждый доклад через два фильтра для сравнения с моим - старую добрую косинусную близость и более «вдумчивый» BERTScore

3️⃣Проанализировать топ-5 от каждого метода и посмотреть, какие доклады попали в топ

Что получилось

И вот тут-то и проявилась вся разница подходов

Косинусная близость. Этот метод представляет каждый текст как единый числовой вектор (эмбеддинг), усредняя его семантическое содержание. Он эффективно находит документы с лексическими пересечениями, но из-за усреднения контекста может упустить более сложные семантические связи, если они выражены синонимичными или описательными конструкциями

BERTScore. Этот подход работает на более детальном уровне, сопоставляя контекстные эмбеддинги каждого токена из одного текста с токенами другого. На основе этой матрицы попарных сходств он вычисляет метрику F1, что позволяет улавливать локальные семантические связи, например, между «ML-платформой» и «автоматизацией ресурсов», даже при отсутствии общих ключевых слов. (подробнее в оригинальной статье «BERTScore: Evaluating Text Generation with BERT»). Но из-за циклично расчета эмбедингов время получения метрики растет в разы

Главный вывод: дилемма близости в RAG - скорость или глубина?

Мой эксперимент отлично подсветил классический компромисс в мире RAG: выбор между скоростью и семантической глубиной. Здесь нет однозначного победителя, потому что косинусная близость и BERTScore решают разные задачи

По сути, идеальный RAG-пайплайн часто использует оба подхода в связке, как это подтверждают и исследования, и многочисленные гайды от практиков. Использовать только косинус - быстро, но рискуешь получить поверхностный результат (привет реранкерам). Использовать только BERTScore - качественно, но непозволительно медленно

Если бы кто-то придумал «быстрый BERTScore», это бы кардинально изменило подходы к поиску релевантных чанков в RAG. Мы бы получили поиск, который по-настоящему понимает запрос. Но пока приходится жить в мире компромиссов

А для тех, кто хочет провести похожий анализ, я, по традиции, выложил весь код в репозиторий. Забирайте и экспериментируйте 💪

Как школьники решают задачи по AI на уровне магистров

В пятницу провел четырехчасовую тренировку для наших школьников, которые едут на Международную олимпиаду по ИИ (IOAI), и до сих пор под впечатлением. Задачи - серьезные, на уровне магистров: CV, NLP, классика на таблицах. Но поразил меня не столько уровень решений, сколько один паттерн, который прослеживался почти везде

Есть один инструмент, который ребята использовали в ~85% случаев. Угадаете какой? Конечно, CatBoost. Его умудрялись прикрутить даже для классификации картинок и анализа текстов. И это не от лени или незнания других архитектур. Это прагматизм в чистом виде: если инструмент достаточно гибкий и мощный, чтобы решать 85% задач «в лоб», зачем усложнять? С определенными трюками такой подход для олимпиады - самое то

Я, честно говоря, не могу вспомнить ни одного знакомого DS-а из IT-компаний, у кого бы в проде не стоял CatBoost в том или ином виде 🧐

Вся эта подготовка - финальный рывок перед главным событием. Олимпиада пройдет со 2 по 9 августа в Пекине. Это огромное достижение для ребят - представлять страну на таком уровне. Буду внимательно следить за успехами нашей команды, а значит и вы тоже ✨

P.S. Хотите узнать, какие вопросы о внутреннем устройстве CatBoost я задаю на собеседованиях, чтобы проверить глубину понимания, а не просто знание .fit() и .predict()? Накидайте реакций 🔥, и я напишу об этом отдельный пост

P.P.S Ребят курирует Саша, он пишет о всех тонкостях процесса довольно часто

Выходные созданы для вайба, но мой вайб закончился. Впервые за три месяца исчерпал свой лимит на cursor за 20$, но это не конец истории. В Cursor мне любезно предоставили возможность потратить еще 30$ за их счет, так что общий чек за месяц составил 50$ 📈

Откуда такая щедрость и почему компания готова работать себе в убыток? 📉

В первую очередь, мы платим не только деньгами. Основная валюта в новой экономике ИИ - это данные о нашем взаимодействии с моделью. Каждый запрос, успешный или неудачный будет использоваться для обучения и доработки, особенно для развития способности моделей к сложным рассуждениям.

Представьте: вы с помощью ИИ создаете стартап. Модель обучается на истории ваших идей и итераций. Теоретически, в будущем другой пользователь сможет сформулировать запрос, который воспроизведет вашу бизнес-логику, ведь нейросеть уже будет обучена на вашем примере. Мы платим за дешевый доступ своим интеллектуальным вкладом, который делает модели умнее.

И да, в Cursor есть private mode, который, вероятно, вас защитит. 👀 Он работает только если вы догадались его включить. По умолчанию данные уходят в обучение. Ну а Google и OpenAI честно признаются в политиках об использовании пользовательских данных для тренировки моделей

💃 #vibe_coding@ml_maxim

Они это сделали

Помните я рассказывал про школьников, которые готовились к олимпиаде по ИИ?

Буквально только что на стриме Саши стало известно, что ребята получили:

🥇 6 золотых
🥈 1 серебро
🥉 1 бронзу


От всего сердца поздравляю команду и их великолепного тренера! Будущее AI в надежных руках 💪

Расскажу про Data Science в мире больших данных на летней школе от ФКН ВШЭ, приходите послушать 23 августа 👋

Буду выступать с темой: «Что делать с данными, когда их слишком много: от Big Data к Smart Data» (я начинаю в 12:15)

Весь движ организует Центр непрерывного образования ФКН НИУ ВШЭ

Мир IT удивительно тесный, поэтому обнаружил среди спикеров Аню, мы вместе работали в Ситимобил над самым лучшим сервисом такси 🧐

Также будут спикеры из Т-банка, Яндекса, Альфа-Банка, X5 Tech, Magnit Tech, Авито, Вкусно — и точка, и другие

Когда: 21 августа в онлайн-формате, 23 августа — очно.
Где: Центр Культур НИУ ВШЭ, г. Москва, Покровский бульвар, 11.

Участие бесплатное для всех желающих, но требуется регистрация: по ссылке

Пишите, если придете и захотите пообщаться в кулуарах ☕️

Copilot, налоги, роботы 🤖


Давно хотел поднять эту тему, а на днях судьба сама подкинула повод - столкнулся в кафе с парой роботов от Pudu Robotics. Выглядит футуристично: они развозят заказы, помогают персоналу и, очевидно, повышают эффективность бизнеса. Получается замена человека в рутинных задачах


На фоне таких трендов в правительстве уже обсуждают идею введения налога на роботов. Логика простая: компании сокращают персонал, а значит, падает объём страховых отчислений в бюджет. Налог мог бы это компенсировать. Пока в России такой меры нет, но почва для трансформации готовится


Раньше говорили: «Не пойдет учеба - пойдешь на завод». Скоро, похоже, и на завод без диплома магистра по робототехнике не пройдёшь 😰


С физическим миром всё более-менее ясно, но что насчет офисов? Здесь автоматизация еще интереснее. Если появится налог на «железных» роботов, не возникнет ли следом идея обложить налогом и «программных»? Представьте себе AI-аналитиков, AI-программистов или целые AI-команды. Хотя, скорее всего, бизнес найдёт лазейку. Ведь можно назвать это не «AI-программист», а «Copilot для программиста». Инструмент, а не замена. И тогда гипотетический налог платить, вероятно, не придется


Да мы и сами в команде грешим ускорением всей этой автоматизации, делали ранее публикацию на эту тему.

В удивительное время живем 🍿

Мир IT тесен, а Machine Learning - ещё теснее. Я трижды переходил между крупными IT-компаниями, и каждый раз среди коллег попадались знакомые - будь то со студенчества или с предыдущих мест работы

Авторы ML-каналов знакомы друг с другом едва ли не так же хорошо, как и коллеги в офисе

В папке - подборка крутых ребят, за которыми точно стоит следить. Каждый из них создаёт топовый ML-контент, а вместе они дают широкий спектр взглядов на нашу интересную индустрию

(много ML ребят тут) 🐸

Отдельно выделю тех, с кем у меня схожий профиль и кто делится полезными советами и практиками в области машинного обучения

🔶 канал Андрея
Классно рассказал, как он собеседовал стажеров к себе в команду - можно найти инсайты для себя

🔶 канал Димы
Круто и наглядно объяснил процесс обучения LLM

🔶 канал Саши
Делал крутую публикацию на тему хаков при DS собеседовании, полезно

🔶 канал Юры
Делится разборами промышленного домена ML - вот, например, как применяется ML в диагностировании двигателей

Когда уже сделают tool по картам для ai-агентов

Гонял в отпуск и вспоминал, как я планировал его в perplexity. У их агента много различных инструментов, но мне лично не хватило одного очень важного - чтобы у агента был инструмент работы с картами

Подумал и набросал небольшой proof of concept такого тула для ai агента. Все подробности в статье на habr 🍿

Такого функционала очень не хватает Яндекс картам или Циану, каким бы удобным сразу стал поиск квартиры, да?

Кстати, в отпуске занимался чтением великой доменной литературы, и передаю привет автору

ПС: книгу пока не подписал, но это пока 🚨