tgoop.com/dsoloveev/434
Last Update:
Синтетические респонденты (СР)
1. СР — ИИ, эмулирующий определенную персону, для имитации реального поведения последней.
2. СР могут применяться для дешевой генерации гипотез об ошибках в продукте или поведения пользователей без тестов.
Проблема дизайнера/копирайтера, работающего над лендингом — замыливается взгляд и нужна оценка со стороны насколько понятен текст, считывается метафора с изображения, понятен call to action. Когда нет возможности провести тест с реальной целевой аудиторий прибегают к помощи коллег, друзей, родственников, т.е. проводят так называемые «коридорники», чтобы живые люди, отличные от ца, провалидировали решение и позволили посмотреть на свою работу со стороны. К ответам относятся как к гипотезам, которые нужно самостоятельно провалидировать.
3. Чтобы создать синтетического респондента просто задайте ИИ роль: «Действуй как [описание респондента]» и опишите все нужные характеристики, которые бы вы описывали в гайде на рекрут (hint: вы можете попросить ИИ самой описать портрет персоны, только провалидируйте ответ или поищите характеристики ЦА в открытых источниках). Укажите также цель человека, при взаимодействии с тестируемым материалом.
Далее дайте модели задание, напр.:
- Мужчина подошел к полке с кофе, взял в руки зерновой кофе, прочитал этикетку, повертел в руках и положил обратно – т.е. не стал покупать. Напиши 30 причин, почему он так сделал.
- Напиши, что человек понял или не понял, прочитав этот текст по критериям: [перечисление критериев].
4. Вы можете дать критерии оценки материала, напр.:
• понятность сути сообщения; наличие непонятных слов и жаргона; тон коммуникации; наличие call to action; эмоциональное воздействие; привлекательность; понятность визуальных метафор и пр.
5. Ко всему, что написала модель следует относиться как к гипотезам, которые следует самостоятельно провалидировать с помощью собственного product sense. Вы можете предложить модели тоже сделать оценку, например, по пятибальной шкале и приоритеризовать ее гипотезы или собрать их в группу.
6. Можно загружать тексты, изображения, фото упаковки и пр.
7. Нельзя выдавать ответы синтетических респондентов за реальные ответы и манипулировать этим в исследовании. Не все ответы будут верны, но часть будет полезна. Даже если модель в каких-то ваших тестах показала похожее поведение с респондентами, это не означает, что она будет показывать это всегда, особенно если вы используете модель для редкого языка.
Исследователь Айелет Исраэль, совместно с Microsoft, сравнивали поведение модели с реальным поведением потребителей и результат показал, что GPT-3.5 с высокой степенью правдоподобия имитировал процессы принятия решений потребителями (так, напр., СР показывали разную чувствительность к цене в зависимости от уровня дохода, что согласовывалось с эмпирическими данными).
Итого: подход может быть полезен на ранних этапах исследований, но не заменяет опросы реальных людей. Результаты LLM должны рассматриваться как дополнительный источник инсайтов, а не истина.
Доп. ссылки:
• Статья Айелет Исраэль «Using GPT for Market Research»
• Эксперимент Кантара сравнения ответов синтетических и обычных респондентов
• Сервис для тестов на синтетических респондентах
• Статья «Out of One, Many: Using Language Models to Simulate Human Samples»
• Статья «Can AI language models replace human participants?»
• Синтетические панели
BY soloveev: жизнь на марсе 👩🎤
Share with your friend now:
tgoop.com/dsoloveev/434