Не могу пройти мимо отрывка из интервью Мэттью, который всё выходные крутился у меня в голове:

«Хочу себе личный ИИ: чтобы в нём были только мои книги, заметки и статьи. Я задаю вопрос и он отвечает только из этого, без всего лишнего. А чем больше мы общаемся, тем лучше он меня понимает».

Конечно, так хочется всем, но…

Полноценную LLM, полностью на своих данных сделать нельзя, надо очень много данных, чтобы обучить целую модель.

Но можно взять готовую и ограничить её твоими документами:

1/ Hyperlink — приложение, куда можно загружать заметки и книги, чтобы общаться по ним. Локально, без интернета, приватно.

2/ NotebookLM — мой любимый. Всё же работает в сторону собственного ассистента.

3/ NotebookLlama — опенсорс версия, работает на Llama и других моделях.

4/ Open NotebookLM — ещё один open-source проект, поддерживает PDF, заметки и даже аудиоответы.

5/ 6/ 7/ LM Studio, Ollama, Open WebUI — платформы для локального запуска LLM с подключением своих файлов.

8/ Elephas (для Mac) — файлы, заметки и документы, все ответы из ваших данных.

9/ Alright AI — подписчик сделал кастомную эппку, чтобы скрасить выходные, но работает по-серьезному и на эмбеддингах OpenAI.

В итоге, личного ассистента по своим заметкам собрать можно уже сейчас. А вот новую LLM из любимых книг, пока нет 😔

@tips_ai #tools