Neural Deep

Недавно прочитал пост на Medium, где автор, проживающий в индустриально развитых америках, пугает бизнес непроходимыми трудностями построения своего RAG. В качестве примера он приводит компанию, начавшую разработку RAG в начале года. К весне, говорит, CTO компании заплакал крокодиловыми слезами над х3 бюджетом, который распух из-за галлюцинаций LLM, неотлаженных процессов загрузки и выгрузки данных и проблем с масштабируемостью.

И это даже не самое страшное, говорит разработчик. Весь кошмар ожидается впереди:

— Попробуй поработай с сотнями тыщ типов PDF из разных источников, а на сладкое — загрузи в RAG книжку в формате epub
— Контроль качества ответов — как заставить LLM отвечать правильно и не скатываться в бред?
— Упомянутый бред: по закону подлости на этапе тестирования его нет, а когда показываешь демо клиенту — ну все, вызывайте дурку 🤡
— Утечки данных, обновления контекста, комплаенс...

Последнее, конечно, больше касается запада, нежели России и СНГ, у нас на сохранность данных, как мы знает, кладут 🔩. Самый безопасный вариант для бизнеса — это изолированный контур желательно где-нибудь в тайге.

Но не будем расщепляться на микротемы.

Главный топик этого эссе: бизнесу невыгодно строить свой LLM-кораблик, потому что вместо плавания на два месяца есть риск утонуть в работе на года. Кому нужны выгоревшие IT-отделы в погоне за хайпом? Вместо этого автор (разумеется, уже сделавший из этого бизнес) предлагает забить на инхаус и сосредоточиться на бизнесе, а LLM пусть делают те, кто посвящает этому весь свой фултайм.

А что думаете вы?

Medium

Dear IT Departments, Please Stop Trying To Build Your Own RAG

IT departments convince themselves that building their own RAG-based chat is easy. It’s not. It’s a nightmare.

👍9😁5❤3🔥1

www.tgoop.com/neuraldeep/1214

1.13K viewsDaniil Sheremet, Nov 26, 2024 at 17:00

Недавно прочитал пост на Medium, где автор, проживающий в индустриально развитых америках, пугает бизнес непроходимыми трудностями построения своего RAG. В качестве примера он приводит компанию, начавшую разработку RAG в начале года. К весне, говорит, CTO компании заплакал крокодиловыми слезами над х3 бюджетом, который распух из-за галлюцинаций LLM, неотлаженных процессов загрузки и выгрузки данных и проблем с масштабируемостью.

И это даже не самое страшное, говорит разработчик. Весь кошмар ожидается впереди:

— Попробуй поработай с сотнями тыщ типов PDF из разных источников, а на сладкое — загрузи в RAG книжку в формате epub
— Контроль качества ответов — как заставить LLM отвечать правильно и не скатываться в бред?
— Упомянутый бред: по закону подлости на этапе тестирования его нет, а когда показываешь демо клиенту — ну все, вызывайте дурку 🤡
— Утечки данных, обновления контекста, комплаенс...

Последнее, конечно, больше касается запада, нежели России и СНГ, у нас на сохранность данных, как мы знает, кладут 🔩. Самый безопасный вариант для бизнеса — это изолированный контур желательно где-нибудь в тайге.

Но не будем расщепляться на микротемы.

Главный топик этого эссе: бизнесу невыгодно строить свой LLM-кораблик, потому что вместо плавания на два месяца есть риск утонуть в работе на года. Кому нужны выгоревшие IT-отделы в погоне за хайпом? Вместо этого автор (разумеется, уже сделавший из этого бизнес) предлагает забить на инхаус и сосредоточиться на бизнесе, а LLM пусть делают те, кто посвящает этому весь свой фултайм.

А что думаете вы?

BY Neural Deep