RAG — можно ли запилить коробку?

Вернулись к тех. вебинарам после более бизнесово-менеджерских)

Позвали наших друзей Елизавету Ермакову, Диму Черноуса из МТС AI и Валерия Ковальского из Neural deep tech, чтобы обсудить, что сейчас больше и больше приходит запросов от супер разных бизнесов на реализацию разных ассистентов с RAG под капотом. Не все могут позволить кастом, да и многие пилят свою "коробку". Интересно – можно ли вообще сделать коробку RAG (и если да, то в рамках каких ограничений).

А вот конкретно:
1. Единый чат-бот (ассистент по знаниям) vs. отдельные сценарии / кейсы. Почему Валера не делает чат-ботов.
2. Коробка RAG vs. Кастом. Какие ограничения технологий. Можно ли поставить коробку где retrieval будет работать.
3. Входной порог к разработке своих решений. vibe coding.
4. Поделиться байками (как многие не понимают что такое RAG, делают FTS, называя это ИИ и тд)/фейлами (типо cost выше стоимости лицензий и тд).

В среду в 16-00, ставьте нотифай в трансляции, ну и в календарик вот

https://www.tgoop.com/r77_ai?livestream

Успей еще 30 минут онлайн

Залетайте на стрим про RAG и чатботов!

Елизавету Ермакову, Диму Черноуса из МТС AI и Валерия Ковальского из Neural deep tech

Философских размышлений пост

С момента начала AI-хайпа прошло уже достаточно времени. За весь этот период мне так и не удалось попробовать хотя бы один действительно завершённый, полноценно работающий продукт с нейросетью под капотом.

Во всех случаях, даже если продукт выглядит многообещающим, рано или поздно обнаруживаются недостатки, то картинки кривые генерит, то текст не тот напишет, то забудет о чём речь была два сообщения назад. Наиболее показательный пример - чат-интерфейсы с нейросетями (например ChatGPT или DeepSeek, или Qwen и так далее), в которых повсеместно присутствуют кнопки лайк/дизлайк. Это означает, что от пользователя ожидается разметка и оценка качества работы системы.

AI-содержащие продукты создают занятный прецедент, они возвели идею A/B тестирования в абсолют и конечные пользователи всегда получают полурабочий продукт, который им предлагают тестировать и сообщать об ошибках, собирая при этом фидбэк.

Ситуация становится особенно занятно, если доступ к продукту платный.

Иными словами, я оплачиваю подписку за то, чтобы тестировать неготовую систему и отдавать свой фидбэк разработчикам.

Veo 3 бесплатно на 15 месяцев но есть нюансы

Мой друг Миша поделился схемой получения Google AI Pro через студенческий план сам попробовал работает!

Что получаете

Veo 3 для генерации видео
Gemini Pro с Deep Research
2TB на Google Drive
15 месяцев бесплатно (экономия 300$)

Суть схемы (обожаю темки)

Студенческая почта на etempmail.com + смена региона на США + не российская карта = профит за 5 минут

НО честно говоря меня всегда тригерит, что такие дыры либо специально оставлены Google для привлечения аудитории, либо их скоро прикроют
Слишком уж просто для компании уровня Google "не заметить" такую лазейку
Либо это фича маркетинга, либо скоро будет патч

Детали схемы у Миши в канале, он там подробно расписал весь процесс
Пока работает можно попробовать
Но не удивлюсь, если через месяц-два эту возможность закроют и заблокают арбузеров

Сам пока тестирую Veo 3 — результаты неплохие для бесплатного доступа!

UPDATE: еще подобные гайдлайны

Лучшее AI редактирование фото в open-source

FLUX.1-Kontext-dev

https://huggingface.co/black-forest-labs/FLUX.1-Kontext-dev

Ну что, ребята молодцы
выпустили модель в open-source

А я скоро протестирую что по локальному железу и скорости


AI редактирование изображений в своих проектах и workflow выходит на новый уровень!

Как и обещал в комментариях выкладываю свой доклад, про концепции и подходы

DCD-Domain>>>Collection>>>Document

Про реальные вызовы и опыт про построение workflow llm assistant

Давно хотел перепостить этот прекрасно визуальный конспект команды Data Secret в свой канал
Так что если кто-то пропустил то к изучению!

Проблемная зона AI-кодинга: почему Shotgun Code работает не везде

Встретился на днях с Глебом Кудрявцевым, автором популярного Shotgun Code(1.4k ⭐️)
Обсудили интересную проблему "мертвой зоны размера контекста" в AI-кодинге

Давайте закрепим о чем же на мой взгляд термин "Vibe Coding"

Как вы помните ранее я писал что многие говорят про "AI написал мне приложение за день", но реальность сложнее
Недавно сам я за 7 дней собрал MVP AI-платформы транскрибации: 16k строк кода, 820 вызовов Cursor, 3 компонента
Что я понял? Так это то что AI не заменяет экспертизу он ускоряет её

За успешным vibe coding стоят годы опыта в архитектуре, понимание паттернов и системное мышление
AI пишет код, но направляет его человек. Разница между "вроде работает" и production-ready системой — в экспертизе разработчика
Vibe coding ≠ магия Это смена роли: от кодера к архитектору и тестировщику

Тут надеюсь мы закрепили пройденный материал и можем двигаться дальше

Про Shotgun и контекст, что работает сейчас и еще подходы что пробовал лично я

Сам Shotgun отлично подходит для проектов до 20-200k строк
- Весь код влезает в контекст(сразу сделаю оговорку что дальше мы используем большие и мощные модели в кодинге)
- LLM легко понимает структуру
- Можно делать cross-file изменения
- README генерируется без проблем

Дальше начинается проблемная зона 200k-1M строк
- Слишком много кода для простого dump'а
- LLM теряется в объеме информации
- README получается поверхностным
- Нет семантического понимания архитектуры
- Вообще не понятно, как все это автоматизировать

Даже с большими контекстными окнами проблема остается LLM физически не может эффективно обработать и осмыслить сотни тысяч строк кода как единое целое

Решение, к которому пришли и то что сейчас делает Глеб (следим за его репо и обновлениями) цепочка агентов для семантического анализа

Нужен промежуточный слой

1. Агент-архитектор - анализирует структуру проекта
2. Агент-аналитик - выделяет ключевые компоненты и связи
3. Агент-документатор - составляет понятный README на основе семантики

Результат: вместо "вот куча кода, разберись сам" получаем "вот top-down структура, вот ключевые модули, вот как они взаимодействуют".

Практический вывод

Shotgun Code нужно дополнить семантическим анализом для средних проектов.
Простой dump кода уже не работает - нужно понимание архитектуры через AI-агентов


Shotgun Code: GitHub Хороший инструмент, но есть куда развиваться!

LLM Data Extraction markup and analysis: анализ канала Data Secrets через локальный qwen2.5-32b-instruct+SO


Самые полезный паттерн для использования LLM на мой взгляд

Решил я помучать свои карточки на 96GB VRAM и вернуться к одному из решений, которое обозревал вот тут на стриме
А именно собрать еще раз все сообщения из канала Data Secrets и получить информацию о структуре контента но уже взять весь свой опыт работы с Structured Output и промптами векторизацией и вот что вышло

Модель: Qwen2.5-32B-Instruct 16FP(T-pro-it-1.0) на 2x RTX 4090 (48GB)

Объем данных: 3,240 сообщений из Telegram канала после очистки и группировки медиа
Задача: Классификация и извлечение метаданных

Что вышло статистически

Категории контента:
- Industry News (33%) - новости индустрии лидируют
- Tools & Frameworks (17%) - обзоры инструментов
- Research Papers (8%) - научные публикации
- Community Discussion (8%) - обсуждения

Сложность материала:
- Intermediate (60%) - основная аудитория
- Beginner (23%) - начальный уровень
- Advanced (17%) - продвинутый контент

🏷 Топ тегов: OpenAI, AI, LLM, neural_networks, machine_learning


После разметки я векторизировал все сообщения и получил вот такую красоту в qdrant по распределению!

На видео по сути вся жизнь канала Data Secret классифицированная через LLM векторизированная и представлена в визуалцизации по методу UMAP

кстати за вектора решил не экспериментировать и взял
text-embedding-3-large

На визуализации отлично видно:
- Кластеризацию по типам контента (цветовые группы)
- Плотность в области ML/AI тематики
- Четкое разделение между техническими и новостными материалами


Дальше выводы от той же LLM

1. News-контент доминирует - канал активно освещает новости
2. Инструменты и фреймворки - второй по популярности тип контента
3. Intermediate-уровень - золотая середина для аудитории
4. Векторное пространство показывает логичную кластеризацию тем

Технические детали:
- Время обработки: ~2 часа на полный пайплайн
- Точность классификации: проверил вручную на sample'е - 90%+
- Embedding модель: использовал для векторизации после разметки

На мой взгляд Qwen2.5-32B-Instruct 16FP(T-pro-it-1.0) показал отличные результаты в структурированной классификации.
Особенно порадовала стабильность JSON-вывода и понимание контекста на русском языке

Планирую на ночь поставить временной анализ трендов и sentiment analysis для полной картины эволюции канала

Вишенкой через курсор по заготовкам накидал сайт (чистый векторный поиск + граф)

https://rag-channel.neuraldeep.tech/

html + скрины в комментариях