Проведение тематического анализа с помощью ChatGPT

Пересказ видеоуроков. Ссылки на оригинал в конце.

Этап 1. Начальное кодирование (Open Coding)

Подготовка данных: Подготовьте текстовые данные для анализа. Это могут быть транскрипты интервью, посты из соцсетей, статьи и т.д.

Инструктирование ChatGPT: Введите в ChatGPT промпт, который четко определяет его роль как исследователя и задачу - провести качественное кодирование (Open Coding).

Ты - исследователь. Я сейчас загружу транскрипт интервью, а ты проведешь качественное кодирование, а именно - начальное кодирование (Open Coding). Текст - это транскрипт интервью. Не кодируй вопросы, заданные интервьюером. Мне нужны подробные и описательные коды. Применяй коды к предложениям или частям предложений. Когда составишь список кодов, укажи, к каким предложениям или частям предложений применялись эти коды. Другими словами, когда я попрошу тебя привести примеры цитат для созданных тобой кодов, я хочу, чтобы ты смог это сделать.

Загрузка текста: Вставьте текст для анализа в ChatGPT.

Генерация кодов: ChatGPT сгенерирует список начальных кодов и соответствующих им цитат из текста.

Уточнение кодов: Если вы не удовлетворены результатами, попросите ChatGPT сгенерировать больше кодов или сделать их более подробными и описательными.

Пожалуйста, сгенерируй более подробные коды. Я также хочу, чтобы коды были более описательными. Пожалуйста, отдельно перечисли цитаты, которые показывают все предложения или части предложений, закодированные каждым кодом.

Копирование кодов: Скопируйте сгенерированные коды и соответствующие цитаты в отдельный документ, используя цветовую маркировку для каждого источника данных (например, разные цвета для разных интервью).

Этап 2. Фокусное кодирование (Focused Coding)

Анализ и организация кодов: Проанализируйте сгенерированные коды и начните группировать их по смыслу, формируя предварительные тематические категории.

Дополнительное кодирование: Внимательно просмотрите цитаты, связанные с каждым кодом. Добавьте новые коды, если ChatGPT что-то упустил.

Проверка точности: Убедитесь, что каждый код находится в правильной тематической группе. Используйте функцию поиска по документу, чтобы найти соответствующие цитаты и проверить контекст.

Уточнение категорий: Измените названия категорий, чтобы они точно отражали смысл сгруппированных кодов.

Предложи более точное название для категории "[Название категории]", учитывая следующие коды: [Список кодов].

Объединение кодов: Объедините коды с похожим смыслом в более общие коды. Сохраняйте информацию о первоначальных формулировках кодов, чтобы можно было легко найти соответствующие цитаты.

Этап 3. Формирование тем

Связь с исследовательскими вопросами: Проанализируйте сгруппированные коды с учетом ваших исследовательских вопросов.

Как сгруппированные коды, относящиеся к категории "[Название категории]", связаны с моим исследовательским вопросом: "[Исследовательский вопрос]"?

Формулировка тем: На основе сгруппированных кодов сформулируйте основные темы, которые проходят через данные и помогают ответить на ваши исследовательские вопросы.

Описание тем: Подробно опишите каждую тему, используя цитаты из текста в качестве иллюстраций.

Напиши краткое описание темы "[Название темы]", основываясь на следующих кодах и цитатах: [Список кодов и цитат].

👾 Используйте ChatGPT как инструмент поддержки, который помогает ускорить процесс кодирования и генерации идей

Часть 1 https://www.youtube.com/watch?v=8dTs7D42ge0
Часть 2 https://www.youtube.com/watch?v=ugvrdmbPkZc

Весной я побывала на конференции "Векторы" в Шанинке, где меня особенно зацепила панель, посвященная искусственному интеллекту. Полина Колозариди из DH в ИТМО высказала тезис, который заставил меня задуматься: говоря об этике ИИ, мы должны говорить и о политике, то есть о распределении власти между искусственным интеллектом и пользователем, а также о методе.

Боюсь случайно и не со зла переврать тезисы госпожи Колозариди, поэтому остановлюсь на упоминании ее доклада как импульса для собственных размышлений.

Я считаю, что использование ИИ не является по определению плагиатом. С помощью ИИ можно делать вещи без плагиата, но также и делать кое-что ещё – ошибаться, выдавать недостоверную информацию и приходить к неверным выводам.

Я не хочу душнить про то, что там этично, а что нет. Поставлю вопрос так: что я могу сделать, чтобы мой результат работы в ИИ был уникальным, достоверным и заслуживающим доверия?

Этот вопрос возникает, когда мы используем ИИ не только для формальной обработки текста, но и для получения выводов и преобразования информации.

Например:
Мы загружаем в ИИ тексты СМИ о людях с расстройствами пищевого поведения и просим его выделить ключевые образы, которыми они описываются.
Мы загружаем в ИИ таблицу с данными и просим его провести анализ методом главных компонент.

В таких случаях возникает вопрос: понимаем ли мы, что делает ИИ, когда мы его об этом просим? Можем ли мы повторить его действия и получить тот же результат?

Для себя я выработала (пока только) три принципа, которые позволяют мне повысить уровень доверия к результатам, полученным с помощью ИИ:

1. Уменьшение температуры запроса и многократная проверка.
При работе с текстовыми данными я уменьшаю температуру запроса в Google AI Studio, чтобы ИИ меньше "галлюцинировал" и придумывал то, чего нет в данных. Также я прогоняю один и тот же запрос несколько раз, чтобы убедиться в воспроизводимости результатов.

2. Использование ИИ для работы с количественными данными и апробированными методиками.
Когда мне нужны результаты для отчетов или диплома, я использую ИИ для количественного анализа, применяя уже существующие и апробированные методики, например, метод главных компонент или статистические тесты.

3. Использование методики Chain-of-Thought (CoT).
Эта техника промтинга побуждает ИИ продемонстрировать свой мыслительный процесс перед тем, как дать окончательный ответ. Это помогает мне лучше понимать, как ИИ пришел к тому или иному выводу.

👾 Как вы проверяете результаты ИИ на валидность и воспроизводимость? Насколько вы им доверяете?

Насмотренность данными

На протяжении многих лет я занимаюсь аналитикой и исследованиями, постоянно нахожу и изучаю новые данные. В этом процессе я часто медитирую над различными источниками информации, включая как общеизвестные, так и совсем нишевые. Например, меня привлекают ботанические репозитории, содержащие десятки тысяч сканов гербариев и описаний цветов со всего мира. Конечно, я еще не посетила все информационные ресурсы в мире, и это вряд ли когда-либо станет возможным. Я, скорее всего, даже не охватила малую долю данных, касающихся моей основной темы — технологического развития экономики и экономики разных стран, включая экономику России. Хотя, Росстат, пожалуй, я использовала вдоль и поперек.

Тем не менее, я осознаю, что у меня развивается нечто, что можно назвать "насмотренностью данными". Проводя аналогию с дизайнерами, под этим термином я подразумеваю интуитивное, нерациональное понимание того, что те или иные данные могут существовать и где их можно найти.

Иногда я оказываюсь в довольно странных ситуациях. Например, на созвоне меня спрашивают, можем ли мы найти данные о том, в каких отраслях работают индивидуальные предприниматели в странах Юго-Восточной Азии. Я не могу сразу ответить ни да, ни нет, так как просто не знаю точного ответа. В такие моменты у меня в голове нет слов. Но как только я открываю Google и начинаю вводить запросы, что-то меняется. Я ищу аналитические центры, отчеты МВФ или Всемирного банка о поддержке малого и среднего предпринимательства в этих странах, и мои руки как будто печатают запросы быстрее, чем я успеваю об этом подумать.

С каждым разом я все быстрее осваиваю интерфейсы различных баз данных, которые бывают очень разные. Этот процесс превращается в своего рода навык. Мне очень нравится развивать эту насмотренность данными, даже если это не касается напрямую моей основной темы. Это позволяет мне лучше понимать, что можно найти и какие данные вообще бывают.

Итак, к чему все это? Просто я хотела поделиться с вами своими мыслями о насмотренности данными. Мне кажется, это интересное понятие. Насмотренность бывает не только у художников и дизайнеров. Иногда полезно проводить время в интернете, перескакивая между разными базами данных, просто чтобы понять, что можно найти и что существует в мире данных.

Коллеги, если вы пропустили пятничный вебинар Михаила Боде «ИИ для прикладных исследований», не расстраивайтесь!

Посмотреть запись можно по ссылке. Два с лишним часа опробованных на личном опыте приемов, как приручить алгоритмы для нужд рисерча.

Увидев огромный интерес (не всем хватило место на онлайн-трансляции) мы поняли, что надо проводить такие вебинары на регулярной основе: скоро будет новый анонс.

Выбор исследовательского вопроса

Важно различать тему и вопрос исследования: тема - это широкая область, а вопрос - конкретная проблема в ее рамках.

Существует множество типов исследовательских вопросов: можно заполнять пробелы в литературе, решать важные для мира проблемы, опираться на имеющиеся навыки, выбирать то, что вызывает личный интерес, или искать "головоломки" - эмпирические феномены, противоречащие теориям.

Каждый тип имеет свои плюсы и минусы: "пробелы" гарантируют актуальность, но могут быть неинтересны; "проблемы" важны, но трудновыполнимы; опора на навыки позволяет быстрее получить результат, но несет риск выбрать то, что устареет. Страсть дает мотивацию, но может помешать объективности; "головоломки" позволяют получить значимые результаты, но требуют глубокого погружения в тему.

Правильный вопрос подобен рычагу. "Рычаг" - это именно та "мощность" вашего исследования, способность с его помощью получить максимально значимые результаты.

Представьте себе рычаг в прямом смысле слова: приложив небольшое усилие к длинному плечу, мы можем сдвинуть тяжелый груз. В исследовании "усилие" - это ваше время, ресурсы и интеллектуальный вклад, а "груз" - это важность полученных знаний.

Лучший рычаг означает, что вы сможете:
🔎"Сдвинуть большой груз": получить значимые результаты, которые повлияют на развитие науки и/или практики.
🔎 "Приложив меньше усилий": добиться этого с оптимальными затратами времени и ресурсов.

📝 Как же выбрать вопрос с высоким "рычагом"?
Охват: вопрос должен быть актуальным не только для узкой темы, но и для смежных областей знания.

Пример: исследование влияния социальных сетей не только на политические предпочтения, но и на поведение потребителей, распространение инноваций и т.д.

Обобщаемость: ответ на ваш вопрос должен быть актуальным не только для конкретного случая, но и для других аналогичных ситуаций.

Пример: изучение не просто одного конкретного политического кризиса, а факторов, способствующих возникновению кризисов в целом.

Масштабируемость: ваш вопрос может стать отправной точкой для дальнейших исследований, порождая новые вопросы и гипотезы.

Пример: исследование роли лидеров в миротворческих процессах может привести к новым вопросам о роли гендерных факторов, культурных особенностей и т.д.

Резонанс: ваш вопрос должен вызывать интерес и отклик не только у узкого круга специалистов, но и у более широкой аудитории.

Пример: исследование проблем миграции, изменения климата, социального неравенства и т.д.

Конечно, оценить "рычаг" вопроса заранее непросто. Однако анализ его потенциала с точки зрения охвата, обобщаемости, масштабируемости и резонанса поможет вам выбрать наиболее перспективное направление для вашего исследования.

Источник: Cyr, Jennifer, и Sara Wallace Goodman. 2024. Doing Good Qualitative Research. New York: Oxford University Press. 10.1093/oso/9780197633137.001.0001.

QCA: качественный сравнительный анализ

Методы анализа, когда нам нужно не просто выявить корреляцию, но и понять механизмы, лежащие в основе сложных социальных феноменов.

⭐️ QCA (Qualitative Comparative Analysis) – метод качественного сравнительного анализа, который помогает разгадывать сложные причинно-следственные связи и находить "рецепты" успеха в самых разных областях, от политики до бизнеса.

В чем суть QCA?

Представьте, что вы хотите понять, какие факторы приводят к успеху стартапов. Вместо того, чтобы изолированно изучать влияние каждого фактора (например, размер инвестиций, опыт команды, инновационность идеи), QCA рассматривает их в комплексе, как ингредиенты в рецепте. Метод позволяет выявить комбинации факторов, которые с наибольшей вероятностью приводят к желаемому результату.

Почему QCA – это больше, чем просто статистика?

Учет контекста: QCA признает, что один и тот же фактор может иметь разное значение в разных ситуациях. Например, агрессивная маркетинговая стратегия может быть успешной для одного типа продукта, но губительной для другого.

"Рецепты" успеха: QCA позволяет выявить не один, а несколько путей достижения цели. Это как кулинарная книга, где для одного блюда может быть несколько разных рецептов.

Работа с небольшими выборками: QCA идеально подходит для анализа кейсов, где данных не так много, например, при изучении успешных бизнес-стратегий или политических кампаний.

Где QCA может быть полезен?

Социальные науки: Анализ политических режимов, социальных движений, миграционных процессов.

Бизнес и менеджмент: Выявление факторов успеха компаний, разработка эффективных бизнес-стратегий, анализ поведения потребителей.

Маркетинг: Оптимизация маркетинговых кампаний, сегментация целевой аудитории, поиск новых рыночных ниш.

Учебники: Оба учебника (Риху и Рэджин, 2009; Шнайдер и Вагеманн, 2012) являются отличными и настоятельно рекомендуются всем, кто хочет работать с QCA.
Веб-сайт COMPASs (https://compasss.org/): Это центральный веб-сайт QCA, на котором собраны сотни публикаций о QCA, новости, наборы данных, ссылки на программные пакеты и другая полезная информация.

Коллеги, вакансия от сердца. Я работаю в Dsight 1.5 года. Ищу коллегу-аналитика

💜

🚀 Хочешь влиять на развитие технологических рынков? Dsight ищет Junior аналитиков! 🚀

Чем предстоит заниматься:
- Участие в исследовательских проектах: поиск, обработка и анализ информации, составление скриптов для интервью.

- Готовить содержательную часть проектов в виде аналитических обзоров и презентаций.

- Мониторинг продуктов конкурентов и лидеров рынка.

- Участие во внутренних задачах отдела: помощь в подготовке контента для СМИ и соцсетей, помощь в сборе и анализе венчурных сделок, аналитическая поддержка коллег из других отделов.

Что для нас важно:

- Минимум 1 год опыта анализа рынков, трендов, конкурентов
- Возможность работать полный день (8 часов).
- Английский язык B2+.
- Внимательность, ответственность, проактивность, самостоятельность.
- Навыки визуализации данных (PPT).
- Интерес к инновациям и новым технологиям.

Что мы предлагаем:

- Доход: 50 000 - 65 000 рублей (оклад) + премия за участие в проектах.
- Удаленная работа или гибридный формат (офис у м. Калужская).
- Различные варианты трудоустройства.

👉 Отправляйте резюме и примеры работ (при наличии) @DashaZharkova 👈

🚀 Стань частью команды Dsight! 🚀

Literally me, working

Автоматическое создание обзоров научной литературы с помощью больших языковых моделей: пошаговый подход

В статье предлагается новый подход к генерации обзоров научной литературы, основанный на пошаговом использовании LLM. На основе заданных тем и списка рефератов статей разрабатывается серия запросов (prompts), которые направляют LLM на последовательную генерацию заголовка, аннотации, иерархических заголовков разделов и основного содержания обзора.

Разбиение задачи на управляемые этапы позволяет LLM сохранять общую перспективу при генерации заголовков, что повышает связность и релевантность создаваемых обзоров. Кроме того, после генерации заголовков, генерация основного содержания может быть обусловлена этой структурой, а не всем предыдущим контентом, что значительно снижает стоимость использования API.

Методология, которую предлагают авторы

Процесс генерации обзора состоит из шести шагов, разделенных на две основные фазы:

1\. Генерация структуры:

- Шаг 1: Генерация заголовка. LLM генерирует заголовок обзора на основе заданных тем и рефератов.

- Шаг 2: Генерация заголовков разделов. LLM генерирует заголовки разделов, сохраняя информацию из предыдущих шагов.

- Шаг 3: Генерация аннотации. LLM генерирует аннотацию, суммируя сгенерированный заголовок и структуру в рамках заданных тем.


2\. Генерация подразделов и содержания:

- Шаг 4: Выбор рефератов для каждого раздела. Для каждого раздела выбирается подмножество рефератов, которые будут использованы при генерации его структуры и содержания.

- Шаг 5: Генерация заголовков подразделов. LLM генерирует заголовки подразделов на основе заголовка обзора, структуры и выбранных рефератов.

- Шаг 6: Генерация содержания. LLM генерирует подробное содержание для каждого подраздела, используя структуру, выбранные рефераты и примеры цитирования.


Результаты и обсуждение

Система, реализованная с использованием модели Qwen-long, заняла третье место в конкурсе NLPCC 2024 Scientific Literature Survey Generation, отстав от команды, занявшей второе место, всего на 0.03%. Кроме того, система продемонстрировала высокий показатель Soft Heading Recall (95.84%), заняв второе место среди всех участников. Эти результаты свидетельствуют об эффективности пошагового подхода в поддержании логической и связной структуры обзоров.

Благодаря эффективному дизайну запросов и низкой стоимости API Qwen-long, стоимость генерации одного обзора составила всего 0.1 RMB, что повышает практическую ценность метода.

Ограничения и будущие направления

Несмотря на достигнутые успехи, метод имеет свои ограничения. В частности, без использования содержания рефератов, феномен галлюцинаций LLM становится значительным. В результате метод не может гарантировать точность и достоверность цитирования и анализа в сгенерированном обзоре, что негативно сказывается на оценке человеком.

В будущем планируется включить содержание рефератов в структуру метода, чтобы повысить фактическую точность и надежность результатов, стремясь к созданию более точных и достоверных автоматических обзоров литературы.

Lai, Y., Wu, Y., Wang, Y., Hu, W., & Zheng, C. (2024). Instruct Large Language Models to Generate Scientific Literature Survey Step by Step (arXiv:2408.07884). arXiv. https://doi.org/10.48550/arXiv.2408.07884