Базы знаний - у всех они есть... Но как их можно улучшить ?

Просматривая доклады на оффзоне я увидел доклад, который называется "Данила Урванцев. Pentest Copilot, или Как я создал AI‑помощника по пентесту". Это не суперсложный доклад и он не имеет отношения именно к безопасности ии. Однако, автор поделился полезным советом о том, как прикрутить к своей базе знаний LLM.

Для чего ? Ну в первую очередь это как вариант дообучения модели на конкретных файлах (привет RAG) ... Ещё это как вариант быстро искать по своей информации. Идея крутая. Сейчас покажу как вы можете это без проблем сделать... + некоторый эксклюзив от Данилы....


Во первых, в качестве llm, которая будет работать над нашей инфой я предлагаю использовать (как и в оригинале) llama3. Она ставится очень просто через ollama(win,linux,osx):

ollama pull llama3

и

ollama serve

кстати, порт в Ollama для сервера можно прописать через переменные окружения, вот как это сделать в powershell(в остальных случаях я думаю что понятно:-):

$env:OLLAMA_HOST="127.0.0.1:11434"; ollama serve

➡️Далее, нам нужен удобный веб-интерфейс, где уже прикручен вариант взаимодействия с RAG и самой llama3 в ollama. Автор использовал в своём докладе OpenWebUI. Вот как запустить и поставить через докер(если вы меняли порт для сервера, то в OLLAMA_BASE_URL также измените его):

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

➡️После того как мы скачаем докер с open-webui, нам нужно перейти на

http://localhost:3000/

, где собственно нас попросят зарегистрироваться в open-webui(проверки почты нет).

🐇Теперь мы можем взять llama3 (выбрав сверху пункт) и без проблем подгружать какие-либо файлы(.md(владельцам обсидиана - привет),.pdf, .pptx).

▪️Предвкушаю, что некоторым может показаться это слишком очевидным и все должны знать ... Но мы рассмотрели самый простой, как мне кажется, способ сделать базу знаний с LLM.

🤨Теперь можем закидывать все ресёрчи и книги по aisecurity и пытать лламу...

PPS ... есть ещё крутая альтернатива quivr - https://www.tgoop.com/ai_machinelearning_big_data/4529

Данила: А ещё есть плагин в обсидиан для AI, и в него можно как-раз просто дать ручку от OpenWebUI (потому что у него API как у OpenAI). Также есть плагин для поиска по всем чатам.