Планируем с Богданом провести подкаст еще не определились с датой и темой, но уже решили провести, пишите свои вопросы в комментарии про LLM-сервисы / продукты / приёмы, LLM в бизнесе / маркетинге и т.д.

От каждого подписчика по вопросу, если будет слишком много, разгребём с ChatGPT
👇👇👇

Доброе утро всем!

Продолжаем тесты RTX 4090 (48GB). Наконец сегодня дошли руки доделать адекватный тест с мониторингом всех performance-графиков пока что два простеньких теста х5 и х10 реквестов с разным размером контекста

Сейчас делал замеры на скорость:
- Чтения
- Генерации
- И нагрузки GPU

Как держит разную нагрузку именно под полным и неполным контекстом с FP16 моделькой и какое кол-во реквестов (батч) оптимальное

На тесте сегодня у нас Qwen2.5-Coder-32B-Instruct

Задача: прочитать большой код 15к токенов и найти нужные мне функции, описать их, разобрать функционал (простая задача, с этим модель справилась, как всегда, отлично).

Из интересного: если правильно нарезать задачу, то в целом можно выжать из такого конфига — а напомню, у нас x2 RTX 4090 (48GB) Max Concurrency 2.76x 32к token:

- Prompt Speed: 1,017 tok/s
- Generation: 164.2 tok/s

С результатами можно ознакомиться тут и скриншоты подробнее в комментариях

За предоставленные карты на тест отдельное спасибо https://riverstrom.ai
#x2_409048GB

Vibe Coding Notes

Сегодня я собрал для вас подборку постов, на мой взгляд самую лучшую прокопку реальных кейсов AI кодинга

Как и в случае с нашими тестами RTX 4090, где я выжимаю максимум производительности, эти материалы помогут вам эффективно использовать AI-инструменты в работе

Внутри: практические советы по Cursor, реальные кейсы автоматизации, нестандартные применения AI-инструментов, рабочие workflow и обзоры инструментов типа Stitch, Context7 и Lovable.

Каждый автор делится тем, что сам использует в работе. Никакой воды - только то, что реально экономит время и решает задачи.

-Вайб-кодим Google Apps Script для офисных задач: как LLM превращает часы рутины в минуты магии

- Vibe Cursor Coding

- AI / Vibe coding - советы и best practices

- Как получилось, что юристы используют среду для разработчиков?

- Stitch: от вайб-кодинга к вайб-дизайну и обратно

- Как я бросил курсорить и начал шотганить

- Context7 — один из лучших инструментов для AI-разработки

- Топовый AI Coding Workflow: Cursor & AI Studio

- Как Cursor AI превращает текст в готовые макеты Figma

- Простое веб-приложение за 30 минут с помощью Lovable

Если материал зайдет - подписывайтесь на авторов. Я сам читаю каждого из них и рекомендую

Тем временем нас с вами стало еще больше! Планов на исследования еще больше

Всем прибывышим советую почитать закреп

Спасибо что читаете мой спич!

P.S отдельное спасибо за промоут ребятам
Богдан
Дядя
Ринат
AI Hands

Когда open-source логирование подставляет, а невнимательность с моделями бьет по метрикам 📊

Все вы помните как я переехал на LiteLLM
Вчера у нас был тот самый день, когда все идет не так, как планировалось

OpenAI API частично лежало, задержки до 16 секунд, пользователи в поддержку валом — классика жанра для любого сервиса с высоким MAU

Проблема №1: Слепая зона в мониторинге
Когда пользователи начали жаловаться на тормоза, мы полезли проверять наш LiteLLM прокси. И тут выяснилось, что без лицензии у нас доступны только базовые метрики в /metrics

Мой самописный дашборд показывал, что с прокси все ОК — никаких аномалий
Но задержки-то были! В логах они светились, а в интерфейсе нет
Результат: 2 часа потрачено на копание в прокси, вместо того чтобы сразу проверить статус провайдеров
Ха-ха классический случай "лечим симптомы, а не причину"

Проблема №2: Миграция фильтров без должного тестирования

Наша эволюция фильтров NSFW для FLUX генерации:
- Начали с Llama 3.1 + кастомный промпт для нашего FLUX (низкий RPS легко справлялся локальный кластер)
- Переехали на Qwen2.5 (промпт остался тот же)
- Из-за нагрузки мигрировали на gpt-4o-mini

И вот тут началось веселье!
Промпт, который работал с локальными моделями, на gpt-4o-mini показал себя ужасно да как так то? =)
- 37% False Positive срабатываний
- Пользователи, которые писали "девушка" в запросе, не получали генерацию

После анализа данных из единого прокси (спасибо ему за централизованные логи!) команда R&D быстро поняла масштаб проблемы и сделали первое

1) Выгрузил все срабатывания от момента замены модели
2) Глазами просмотрели все FALSE
3) Поняли что нужно менять

Что сделали:
- Переработали промпт под gpt-4o-mini
- Ввели уровни категоризации вместо бинарной фильтрации
- Добавили структурированный вывод (SO)

Результаты после фикса(все просмотрели глазами)
- Снижение общей фильтрации до 17%
- FP уменьшились до 24%
- Пользователи снова получают нормальные генерации

Проблема №3: Мистический расход токенов на $350

Тут была самая загадочная история! Один из API ключей потребил весь свой бюджет на токены за какие-то 5 запросов. Трекнулось аж целых 350 долларов сразу алерты полетели 🚨

Что я сделал? Натравил на логи агента в Cursor, дал ему доступ через SSH к серверу где лежит проект и указал как писать запросы в БД и где лежат логи и сказал: "Найди что тут не так!"

И знаете что? LLM оказался круче любого DevOps инженера! За несколько минут он нашел, что это web search функция, которая за 1000 запросов стоит $35, а не обычная генерация

Дальше мы с LLM стали искать, где же система неправильно трекает этот параметр. 15 взаимодействий с find и grep — и вуаля! Нашли проблемный участок кода.

Баг найден будет отправлен в репозиторий LiteLLM

Честно, почти везде LLM помогли найти проблему быстрее, чем я бы сам
- Анализ латенси — LLM разобрал логи и указал на узкие места
- Поиск багов — структурированный поиск по кодовой базе
- Анализ трафика — выявление аномальных паттернов в запросах

Мой новый подход
1. Логи → LLM для первичного анализа
2. LLM находит зацепки → я иду копать глубже
3. LLM помогает с grep/awk/sed магией
4. Профит!

По мониторингу
- Open-source решения могут подставить в критический момент
- Нужен собственный экспортер метрик для Grafana
- Логи != метрики в дашборде (очевидно, но забываем)

По фильтрации
- Каждая модель требует отдельной настройки промптов
- A/B тестирование фильтров — не роскошь, а необходимость
- Миграция моделей без тестов = выстрел себе в ногу

По дебагу
- LLM + логи = мощный дуэт для поиска проблем
- Структурированный анализ через AI экономит часы времени
- Всегда держите LLM "под рукой" при инцидентах:

Да, скажете "это же база!" — но опыт есть опыт. Иногда нужно наступить на грабли, чтобы понять, где они лежат 😅

И главное LLM действительно может быть вашим DevOps коллегой. Не заменит, но сильно поможет! Главное не дать выполнить критичные команды (читай каждую команду что генерит LLM)

P.S. Единое прокси снова доказало свою ценность — без централизованного логирования мы бы копались в проблеме намного дольше!

Как GenAI работает в реальных решениях? Расскажем на Conversations

В конце июня встречаемся на одной из главных летних AI-конференций — Conversations 2025. Обсудим, как GenAI становится частью рабочих систем, что помогает не просто тестировать технологии, а внедрять их осознанно, и куда движется индустрия.

От red_mad_robot — два доклада:

Я расскажу, как мы перешли от Naive RAG к workflow-агентским системам, усложнили архитектуру и применяем подход в решении многослойных бизнес-задач.

Илья Филиппов, CEO red_mad_robot AI, вместе с руководителем сервиса книги билайн Натальей Каменских покажет, как AI-поиск работает в продукте и что это даёт пользователю и бизнесу. Кстати Илья завел очень крутой канал где рассказывает про крупный b2b сегмент GenAI в РФ

Конференция пройдёт 26–27 июня в Санкт-Петербурге. Подробности и билеты на сайте, а от меня промокод на 10% — CNVS25sKaV

GuardRails для фильтрации NSWF контента для b2c продукта

TL;DR: За 4 дня новый NSFW-фильтр на базе LLM с Structured Output обработал ~10k запросов, отклонил 1840 (18.4% rejection rate) с 8% false positives. Все улучшения через prompt engineering без code changes. Цель - снизить FP до 2-3% через оптимизацию промпта без увеличения latency/токенов. Real-time дашборд дает полное понимание работы системы. Продолжаем итерации для достижения production-ready точности.

Достаточно острая тема в b2c сегменте фильтрация text input запросов от пользователей на предмет пикантных тем

Прошло 4 дня с момента релиза обновленного фильтра для NSWF(запрещенка) контента генерации изображений и видео, за 4 дня к нам попало почти ~10к органических запросов из них было отклонено 1840 запросов

Проанализировали их все глазами и получили 8% FP(ложных детектов)

На текущий момент понятно что можно улучшить внутри промпта для фильтра хочу сократить количество ложных минимум на 5% но я хочу прийти к 2-3% без увеличения скорости работы и кол-ва токенов а это значит что мы продолжаем тесты!

И кстати инструмент визуализации и аналитики полностью навайбкожен, как по мне дает риалтайм понимание что просходит с фильтром и его работой

RAG — можно ли запилить коробку?

Вернулись к тех. вебинарам после более бизнесово-менеджерских)

Позвали наших друзей Елизавету Ермакову, Диму Черноуса из МТС AI и Валерия Ковальского из Neural deep tech, чтобы обсудить, что сейчас больше и больше приходит запросов от супер разных бизнесов на реализацию разных ассистентов с RAG под капотом. Не все могут позволить кастом, да и многие пилят свою "коробку". Интересно – можно ли вообще сделать коробку RAG (и если да, то в рамках каких ограничений).

А вот конкретно:
1. Единый чат-бот (ассистент по знаниям) vs. отдельные сценарии / кейсы. Почему Валера не делает чат-ботов.
2. Коробка RAG vs. Кастом. Какие ограничения технологий. Можно ли поставить коробку где retrieval будет работать.
3. Входной порог к разработке своих решений. vibe coding.
4. Поделиться байками (как многие не понимают что такое RAG, делают FTS, называя это ИИ и тд)/фейлами (типо cost выше стоимости лицензий и тд).

В среду в 16-00, ставьте нотифай в трансляции, ну и в календарик вот

https://www.tgoop.com/r77_ai?livestream

Успей еще 30 минут онлайн

Залетайте на стрим про RAG и чатботов!

Елизавету Ермакову, Диму Черноуса из МТС AI и Валерия Ковальского из Neural deep tech