Ну Шмулев, погоди!

LLM как источник консолидированных знаний

Занимаясь проектом по реализации синтетических пользователей для ускорения извлечения инсайдов с помощью LLM в custdev-ах, пришел к интересному наблюдению.

В нашем мире знания распределены между различными отдельными инстансами (людьми, книгами, и т.д.), в случае с людьми - очень смещенными.
Интернет – это пример первого удобного источника агрегированных знаний (до него, например, были библиотеки / энциклопедии).
LLM – это новое поколение инструментов с консолидированными знаниями (для меня это еще одно объяснение, почему LLM так хорошо зашли: многие мои знакомые теперь идут в deepseek, а не гугл, чтобы понять как сделать VAT refund в поездке или понять что делать с отменой рейса).

Рассмотрим на примере custdev-ов (глубинных интервью).

Раньше:
1. Выбираешь целевой сегмент пользователей
2. Формулируешь гипотезы болей
3. Собираешь 20-30 человек
4. Проводишь интервью, спрашиваешь о том, что “болит”
5. Собираешь транскрипты, фиксируешь инсайды (субъективно относительно того, что проводит custdev)
6. Делаешь саммари
7. Формулируешь идеи / гипотезы продуктов
8. Делаешь корректировки и повторяешь процесс
** Шаги 5-6-7 – это переход от отдельных смещенных инсайтов к агрегированному “знанию”

С приходом LLM как это выглядит теперь:
1. Выбираешь целевой сегмент пользователей – через промпт
2. Формулируешь гипотезы болей – через промпт (+ задаешь контекст)
3. Получаешь инсайды уже в виде саммари и идеи

Почему так? Внутри LLM уже содержится информация по всем-всем вариантам (которые встречались при обучении конечно), и ее ответ УЖЕ агрегированная информация. Нет смысла генерировать 30-50 диалогов с пользователями (тут есть отдельный риск, какой кстати?) и потом делать саммари (через ту же GPT).
В реальной жизни без LLM мы так делать не можем – надо сэмплировать знания из отдельных людей и потом агрегировать.

P.S. в этом посте я намеренно не рассуждаю на тему репрезентативности инсайдов от “синтетиков” и не говорю о том, что привычные custdev-ы больше не нужны. Мне интересно посмотреть и порассуждать в комментах на интересный кмк переход и к чему он может привести.

❤13👍4🔥4

www.tgoop.com/wait_shmulev/79

6.69K viewsJul 21 at 06:32

LLM как источник консолидированных знаний

Занимаясь проектом по реализации синтетических пользователей для ускорения извлечения инсайдов с помощью LLM в custdev-ах, пришел к интересному наблюдению.

В нашем мире знания распределены между различными отдельными инстансами (людьми, книгами, и т.д.), в случае с людьми - очень смещенными.
Интернет – это пример первого удобного источника агрегированных знаний (до него, например, были библиотеки / энциклопедии).
LLM – это новое поколение инструментов с консолидированными знаниями (для меня это еще одно объяснение, почему LLM так хорошо зашли: многие мои знакомые теперь идут в deepseek, а не гугл, чтобы понять как сделать VAT refund в поездке или понять что делать с отменой рейса).

Рассмотрим на примере custdev-ов (глубинных интервью).

Раньше:
1. Выбираешь целевой сегмент пользователей
2. Формулируешь гипотезы болей
3. Собираешь 20-30 человек
4. Проводишь интервью, спрашиваешь о том, что “болит”
5. Собираешь транскрипты, фиксируешь инсайды (субъективно относительно того, что проводит custdev)
6. Делаешь саммари
7. Формулируешь идеи / гипотезы продуктов
8. Делаешь корректировки и повторяешь процесс
** Шаги 5-6-7 – это переход от отдельных смещенных инсайтов к агрегированному “знанию”

С приходом LLM как это выглядит теперь:
1. Выбираешь целевой сегмент пользователей – через промпт
2. Формулируешь гипотезы болей – через промпт (+ задаешь контекст)
3. Получаешь инсайды уже в виде саммари и идеи

Почему так? Внутри LLM уже содержится информация по всем-всем вариантам (которые встречались при обучении конечно), и ее ответ УЖЕ агрегированная информация. Нет смысла генерировать 30-50 диалогов с пользователями (тут есть отдельный риск, какой кстати?) и потом делать саммари (через ту же GPT).
В реальной жизни без LLM мы так делать не можем – надо сэмплировать знания из отдельных людей и потом агрегировать.

P.S. в этом посте я намеренно не рассуждаю на тему репрезентативности инсайдов от “синтетиков” и не говорю о том, что привычные custdev-ы больше не нужны. Мне интересно посмотреть и порассуждать в комментах на интересный кмк переход и к чему он может привести.

BY Ну Шмулев, погоди!