Построение сложного RAG для работы с технической документацией

Можно ли взять любой RAG засунуть туда документацию и получить крутой ответ?
Спойлер: НЕТ

На этой неделе я исследовал возможности построения RAG-системы
для работы со сложными многосоставными 2-3-4 задания в одном запросе к технической документации
Хочу поделиться интересными находками и подходом, который дал хорошие результаты

Тестовый кейс документация Manticore Search

Для тестирования подхода я взял документацию Manticore Search - высокопроизводительной базы данных для поиска и аналитики
Она отлично подходит для скачивания есть на GitHub в формате md
- Множество взаимосвязанных концепций
- Комбинация SQL и HTTP API
- Специфичные форматы данных (векторы, JSON)
- Различные режимы работы (RT, Plain)

А теперь к проблеме

Классический подход к RAG (просто разбить документацию на чанки и искать по ним) не работает для сложных технических запросов
Например, запрос

"Покажи как оформить json чтобы делать replace в knn колонках 
RT индекса поле называется embedding и пришли пример python запроса"

Кстати предлагаю вам попробовать самим проверить свой RAG сможете ли добиться такого же ответа как у меня (в комментариях)

Такой запрос требует
- Понимания контекста (что такое RT индекс, KNN колонки)
- Объединения информации из разных частей документации
- Генерации корректных примеров кода
- Проверки технической точности

Архитектура эксперимента

- Qwen 7B (16 FP) на RTX 4090
- Multilingual E5 Large для эмбеддингов
- Собственный механизм Chain of Thought

Структура данных в Milvus:

Collection: documentation
Fields:
  - id: primary key
  - filename: string (для формирования ссылок в ответе)
  - chunk_text: string (текст чанка)
  - embeddings: float_vector[1024] (векторы от e5-large)
  - category: string (раздел документации)
  - subcategory: string (подраздел)
  - full_text: string (полный текст документа)

После поиска, объединяем найденные чанки по иерархии документации, получая ~30K токенов контекста для LLM. Ответ в формате Markdown будет содержать
- Уровень анализа запроса
- Найденные документы с их URL
- Готовые примеры кода
- Полный текст документации

Процесс обработки запроса

Query Expansion
- Используем LLM для генерации 3-5 альтернативных запросов
- Учитываем технический контекст
- Переводим на язык документации (английский)

Векторный поиск
- Для каждого расширенного запроса ищем топ-3 результата
- Получаем ~9 релевантных чанков
- Используем иерархию документации для контекста

Объединение + ответ
- Делюсь с вами своей схемой SO + CoT + Outlines + vLLM (В комментариях) + ответ модели на такой запрос

Так и по классике выводы

Что особенного и можно ли повторит?
0) Да самое важное уделить время на разработку стратегии разметки и поиска
(ой маркетинг где RAG работает с любой докой не правда? Как так? =))
1) Статический Chain of Thought
2) Оптимизация контекста по иерархии
3) Локальное развертывание
4) Понимание работы Structured Output

P.S
Решение субъективно и основано на конкретном опыте
Требуется дальнейшее тестирование на разных типах документации
Возможны ошибки при очень специфических запросах
Считаю что нужен агент планировщик поиска по документации

P.S.S Все примеры и код основаны на реальном опыте работы с технической документацией Manticore Search

@daisytranscribe_bot

Приятный фидбек по среди недели!

А ты все еще используешь платные сервисы для STT!
Учитесь как делать удобно себе

Вечная дилема выбора даже AI не помог

С праздником всех причастных ❤️❤️❤️

Deep Research за копейки?

Йоу, народ! Время рассказать, чем я тут занимался в последнее время

Спойлер: Deep Кодил

Короче, решил я окунуться в мир опенсорса на тему Deep Research
Знаете, такие штуки, которые умнее обычного гугления
И вот что я там накопал прошелся по 3-4 репо и пока вот мой топ для понимания как это работает.

Значит берем LangGraph(langsmith)
Берем tavily
Берем LLM
Берем другую LLM которая будет кодить (кстати я попробовал Cursor скоро расскажу как оно там)

1. Можно кастомить агентов с помощью Structure Output + CoT (Chain of Thought, если кто не в курсе).
2. Есть готовые репо, типа этого: https://github.com/langchain-ai/ollama-deep-researcher

Но я же не ищу легких путей! Взял этот репо и перепилил всё под себя что поменял
- Промпты обновил (добавил SO, чтоб было красиво)
- Граф немного перекроил
- Подключил свои серваки с vLLM (видюхи не простаивают!)
- Поправил промпты рефлексии

Короче, получилось вот это чудо:

https://github.com/kekslop/ndt-deep-researcher

И вот что самое крутое: с сегодняшнего дня почти все мои наработки будут попадать на GitHub!
Да-да, вы тоже сможете их попробовать!

Я там расписал README так подробно, что даже моя бабушка сможет повторить мой опыт создания такого агента и использования его в быту
Ну, почти 😅

Основная фишка текущего подхода - это визуализация и работа с Structured Output и работа с моделькой 7b =)
Дальше буду кастомить свой CoT

Что умеет эта штука для меня
- Работает на разных языках (прям как я после пятничного стрима "запускаем новое направление))
- Ищет инфу в интернете через Tavily (круче, чем ваша школьная разработка на силениум )


А самое интересное впереди! Скоро расскажу, как сделать монструозную систему с генерацией биг отчета и поиском инфы в нескольких источниках

Следите за обновлениями, кто хочет быть в теме!
Ну а я пошел кодить дальше, пока команда думает, что я занимаюсь "стратегическим планированием" 😎