Telegram Web
Google Таблицы как инструмент качественного анализа в кабинетных исследованиях

Одной из сложностей при кабинетном исследовании, особенно когда речь идет о качественном анализе массивов текстов, является систематизация данных. У социологов есть специальные инструменты, например, Atlas.ti или NVivo, которые позволяют разметить текст по кодам (темам, упоминаниям и т.д.) и визуализировать связи между ними.

Однако, в моей исследовательской практике такие инструменты часто недоступны из-за ограниченного бюджета и санкций. Убедить руководство компании выделить деньги на подписку Atlas.ti бывает непросто.

Поэтому в своей рутинной исследовательской работе, будь то конкурентный анализ, анализ интервью или трендвотчинг, я использую самые банальные инструменты — Google Таблицы.

Google Таблицы: не только для количественного анализа

Google Таблицы чаще всего ассоциируются с количественным анализом. И действительно, они отлично подходят для работы со статистическими данными, рейтингами, динамикой показателей. Но я хочу рассказать о том, как я использую Google Таблицы для качественного анализа текстов.

Например: Сравнительный анализ компаний, предоставляющих услуги по переезду: Мне нужно было сравнить несколько компаний по насыщенности услуг, скорости реагирования, наличию уникальных преимуществ. В этом случае составление таблицы для сбора данных — нетривиальная задача. Но, как показывает мой опыт, этот шаг очень важен для осмысления процесса поиска данных.

Как проектировать таблицу для сбора данных для качественного анализа:
1. Отталкивайтесь от технического задания и темы исследования:
- Какие вопросы вы хотите исследовать?
- Какие данные вам нужны, чтобы ответить на эти вопросы?
2. Найдите баланс между полнотой и компактностью:
- Таблица должна содержать все необходимые данные.
- Но она не должна быть слишком громоздкой, иначе с ней будет неудобно работать.
- Если делаете несколько таблиц, подумайте, как они будут связаны (ключи, ВПР)
3. Учитывайте свойства объекта исследования:
- Начните с предварительного сбора данных, чтобы понять, какие свойства объекта важны для вашего исследования.
- Откорректируйте дизайн таблицы, чтобы она учитывала эти свойства.

Пример: Сравнительный анализ компаний, производящих оборудование для спутниковой связи. Изначально я планировала собирать только название компании, индустрию и тип оборудования. Но предварительный анализ данных показал, что важно также учитывать географию реализованных проектов, год реализации и задачи, которые были решены для клиента.

⭐️ Используйте аналитические фреймворки. Если вы используете аналитический фреймворк (например, Trend Canvas для анализа трендов), он может помочь вам определить ключевые данные, которые вам нужно собрать.
👾 Друзья, я знаю, что многим из вас приходится сталкиваться с кабинетными исследованиями в учебе или работе.

Я регулярно получаю просьбы о помощи в поиске литературы, в выборе методов исследования и т.д., и всегда рада поделиться своим опытом. Даже если я не смогу вам помочь сама, то постараюсь посоветовать, к кому можно обратиться.

Если у вас возникли вопросы, связанные с поиском научной литературы, с промтами и ИИ для исследований, сложности в поиске статистики или еще какой-то информации в интернете — пишите мне в личку в Телеграме - я постараюсь помочь! @eak_ka

Я более 5 лет уже (сама в шоке) занимаюсь кабинетными исследованиями. По диплому библиограф, по второму — социолог. По жизни — аналитик в консалтинге.

Важно: Моя помощь бесплатна. Но если вы хотите поддержать мой канал, вы можете сделать это по ссылке ниже.

https://taplink.cc/ekaganova
Возвращаясь к теме про таблицы. Может, я уже деформирована табличками головного мозга, но со мной это, действительно, работает. Уже не только как рабочий инструмент, но и как способ мышления.

И делаюсь промтом для проектирования таблиц:

📎

На основании темы моего исследования предложи дизайн не менее 7 таблиц для сбора данных по теме моего исследования.

# Контекст

* Тема исследования: конкурентный анализ банков, которые оказывают услуги для малого и среднего предпринимательства, изучение рынка услуг для МСП, анализ практик ДБО
* Ключевые переменные: услуги, условия (для каждой услуги), содержание услуг, перечень услуг, перечень банков, услуги в области онлайн-бухгалтерии и сдачи отчетов, наличие приложения, особенности ДБО
* Тип данных: текстовый, булевые операторы, числовые
* Дополнительные требования: таблицы должны подходить для дальнейшего анализа (группировка, построение карты услуг и банков)
* Тип таблиц: плоские

# Пример

Тема исследования: Исследование эффективности разных методов обучения английскому языку.

Проект таблицы:


| Метод обучения | Количество студентов | Средний балл по итогам теста | Время обучения (в неделях) | Стоимость обучения | Дополнительная информация |
|---|---|---|---|---|---|
| Онлайн-курсы | 50 | 7.5 | 12 | $1000 | |
| Индивидуальные занятия | 20 | 8.2 | 10 | $1500 | |
| Групповые занятия | 30 | 7.8 | 12 | $750 | |


# Задача
Сгенерируй дизайн таблиц, который будет:
* Логичным и структурированным
* Оптимизированным для темы исследования
Chain-of-Thought (CoT): пошаговое мышление для LLM

Chain-of-Thought (CoT) - это техника промтинга, которая побуждает большую языковую модель (LLM) продемонстрировать свой мыслительный процесс перед тем, как дать окончательный ответ. Это значительно улучшает производительность LLM в задачах, требующих логического мышления, таких как математика, решение задач и рассуждения.

Как работает CoT:

Демонстрация: В промт включаются примеры, демонстрирующие, как решать задачи пошагово. Каждый пример состоит из вопроса, цепочки рассуждений и правильного ответа.

Индукция: В промт добавляется фраза, побуждающая модель к пошаговому мышлению, например: "Давайте подумаем шаг за шагом" или "Реши эту задачу пошагово".

Генерация: LLM, следуя примеру и инструкции, генерирует цепочку рассуждений, прежде чем дать окончательный ответ.

Преимущества CoT:

Повышение точности: CoT помогает LLM лучше понять задачу и сформулировать более точный ответ.

🔘 Прозрачность: Цепочка рассуждений делает процесс принятия решения LLM более прозрачным и понятным для человека.

Отладка: CoT облегчает выявление ошибок в рассуждениях LLM и их исправление.

Разновидности CoT:

Zero-Shot CoT: Используется без демонстрационных примеров, только с фразой-индуктором.

Few-Shot CoT: Включает несколько демонстрационных примеров с цепочками рассуждений.

Более сложные техники: Существуют различные модификации CoT, такие как Contrastive CoT (с примерами неправильных рассуждений), Uncertainty-Routed CoT (с выбором ответа на основе согласованности нескольких цепочек) и Complexity-based CoT (с выбором сложных примеров для аннотации).

CoT помогает LLM лучше понимать сложные тексты и извлекать из них информацию.

Schulhoff, Sander, Michael Ilie, Nishant Balepur, Konstantine Kahadze, Amanda Liu, Chenglei Si, Yinheng Li, и др. 2024. «The Prompt Report: A Systematic Survey of Prompting Techniques». doi:10.48550/arXiv.2406.06608.
Please open Telegram to view this post
VIEW IN TELEGRAM
Decomposition: Разделяй и властвуй с LLM

Decomposition - это техника промтинга, которая фокусируется на разбиении сложных задач на более простые подзадачи. Этот подход, эффективный как для людей, так и для больших языковых моделей (LLM), позволяет LLM решать задачи, которые в противном случае были бы слишком сложными для обработки.

Как работает Decomposition:

1. Разбиение: LLM получает инструкцию разбить задачу на подзадачи. Это может быть сделано с помощью промпта, содержащего инструкции, примеры или специальные маркеры.
2. Решение подзадач: LLM решает каждую подзадачу по отдельности, используя подходящие техники промтинга, такие как Chain-of-Thought (CoT) или Retrieval Augmented Generation (RAG).
3. Объединение результатов: LLM объединяет результаты решения подзадач в окончательный ответ.

🔘На себе проверила, что это значительно повышает качество при обработке текстовых данных.

Примеры Decomposition в работе с текстом

Анализ тональности отзывов:
Задача: Определить тональность отзывов о новом продукте.
Разбиение:
Подзадача 1: Разбить отзывы на отдельные предложения.
Подзадача 2: Составить правила для определения тональности отзывов.
Подзадача 3: Определить тональность каждого предложения (положительная, отрицательная, нейтральная) на основе правил из подзадачи 2.
Подзадача 4 Объединить результаты анализа отдельных предложений для определения общей тональности отзыва.

Реферирование текста:
Задача: Создать краткое изложение длинной статьи.
Разбиение:
Подзадача 1: Разделить статью на смысловые абзацы.
Подзадача 2: Определить ключевые предложения в каждом абзаце.
Подзадача 3: Сгенерировать реферат, объединяя ключевые предложения и добавляя связующие фразы.

Классификация документов:
Задача: Классифицировать новостные статьи по темам.
Разбиение:
Подзадача 1: Извлечь ключевые слова из статьи.
Подзадача 2: Определить тематические категории на основе ключевых слов.
Подзадача 3: Присвоить статье наиболее подходящую тематическую категорию.
Please open Telegram to view this post
VIEW IN TELEGRAM
Если вам нравится и полезно то, что я тут делаю, вы можете поддержать канал: https://taplink.cc/ekaganova

Я буду очень благодарна 👾💜
Please open Telegram to view this post
VIEW IN TELEGRAM
О, неожиданно посто про меня и команду моих коллег из Dsight.

Рекомендую Михаила как эксперта и тьютора по промтам 🤓
Промт инжиниринг - в работе сотрудников

Есть такая компания Dsight - занимается заказными исследованиями для банков и крупного бизнеса.

Если без подробностей, то компания приходит к ребятам и спрашивает:
- "Хотим запустить такой проект вот там у нас пойдет?"
- "Какой стартап купить в этой сфере?"
- "Что будет прибыльно через 5-10 лет? в какую сферу инвестировать?"

И исследователи из этой команды руками ищут документы, анализируют их, выявляют тренды по определенным методологиям, проводят кастдевы, и мониторят и переваривают много информации с помощью своей головы.

После того как пришел ИИ, абсолютно здравое решение пойти в ИИ, чтобы автоматизировать эту работу.

Руководство команды обратилось ко мне, за решением этой задачи, мы провели обучение в формате разбора точечных задач сотрудников, когда аналитик-исследователь рассказывал мне как он решает задачу сейчас и далее мы с ним совместно работали над тем, чтобы решить эту задачу с помощью ИИ, на том же уровне качества как и сам исследователь.

В итоге после работы, мне присылают промты и результаты работы... смотрю и радуюсь)

Задача с трендвотчингом - нужно проанализировав десятки исследований, сформулировать вывод по определенной структуре, о том какие тренды сейчас естьв заданной теме.
Эта задача:
- ранее занимала 25 часов или 1 неделя работы
- теперь занимает 8 часов или 2 дня работы!

Реальное сокращение времени, в сложной когнитивной теме в 3 раза.

За счет глубокой проработки задачи, получилось 11 листов А4 промта, правильная структура, разметка, разные подходы промтинжиниринга и прочие нюансы.

Может показаться, что треть аналитиков-исследователей в этой компании уволят, потому что один может работать за троих, но реально никто никого не увольняет, так как повышается пропускная способность каждого сотрудника этой позиции и компания за счет увеличения мощностей производства, без увеличения штата, начинает зарабатывать больше, просто потому что может за то же время, с теми же ресурсами произвести больше пользы.

Все и так понимают что ИИ экономит время в выполнении рутинных задач, но не все могут этого добиться на реальных, ежедневных задачах и внедрить это в операционный процесс бизнеса, так как не хватает навыков или понимания, и в интернете все делают посты для соц сетей и то посредственно, а реальные задачи не разбираются, за счет чего делают пару подходов на своих задачах - не получается и забивают на ИИ, со словами, ну мы попробовали, у нас не работает, нет времени разбираться и тд и тп.

Вот вам пример, когда получилось, да не быстро, да надо было неделю учиться и эксперементировать, практиковаться ошибаться под моим присмотром и выделять на это время, но после этого в компании остается:
1 - Сотрудник(и) способные ускорять другие задачи в несколько раз, практически штатные промтинжинеры.
2 - Задача которая выполняется на том же уровне качества, но в несколько раз быстрее.

По такой же аналогии можно проработать любую задачу, в которой есть работа со смыслом, с текстом, с информацией.

Главное этим заниматься и выделять время. Так что, занимайтесь)
Кабинетные исследования — методика анализа данных из отчетов, статей, баз данных и других источников. Они позволяют получать ответы на вопросы без полевых исследований и экспериментов.

Как часто вы проводите кабинетные исследования с любыми целями?
Anonymous Poll
43%
Регулярно (несколько раз в месяц)
28%
Периодически (несколько раз в год)
21%
Редко (1-2 раза в год)
9%
Никогда
Please open Telegram to view this post
VIEW IN TELEGRAM
Весной я побывала на конференции "Векторы" в Шанинке, где меня особенно зацепила панель, посвященная искусственному интеллекту. Полина Колозариди из DH в ИТМО высказала тезис, который заставил меня задуматься: говоря об этике ИИ, мы должны говорить и о политике, то есть о распределении власти между искусственным интеллектом и пользователем, а также о методе.

Боюсь случайно и не со зла переврать тезисы госпожи Колозариди, поэтому остановлюсь на упоминании ее доклада как импульса для собственных размышлений.

Я считаю, что использование ИИ не является по определению плагиатом. С помощью ИИ можно делать вещи без плагиата, но также и делать кое-что ещё – ошибаться, выдавать недостоверную информацию и приходить к неверным выводам.

Я не хочу душнить про то, что там этично, а что нет. Поставлю вопрос так: что я могу сделать, чтобы мой результат работы в ИИ был уникальным, достоверным и заслуживающим доверия?

Этот вопрос возникает, когда мы используем ИИ не только для формальной обработки текста, но и для получения выводов и преобразования информации.

Например:
Мы загружаем в ИИ тексты СМИ о людях с расстройствами пищевого поведения и просим его выделить ключевые образы, которыми они описываются.
Мы загружаем в ИИ таблицу с данными и просим его провести анализ методом главных компонент.

В таких случаях возникает вопрос: понимаем ли мы, что делает ИИ, когда мы его об этом просим? Можем ли мы повторить его действия и получить тот же результат?

Для себя я выработала (пока только) три принципа, которые позволяют мне повысить уровень доверия к результатам, полученным с помощью ИИ:

1. Уменьшение температуры запроса и многократная проверка.
При работе с текстовыми данными я уменьшаю температуру запроса в Google AI Studio, чтобы ИИ меньше "галлюцинировал" и придумывал то, чего нет в данных. Также я прогоняю один и тот же запрос несколько раз, чтобы убедиться в воспроизводимости результатов.

2. Использование ИИ для работы с количественными данными и апробированными методиками.
Когда мне нужны результаты для отчетов или диплома, я использую ИИ для количественного анализа, применяя уже существующие и апробированные методики, например, метод главных компонент или статистические тесты.

3. Использование методики Chain-of-Thought (CoT).
Эта техника промтинга побуждает ИИ продемонстрировать свой мыслительный процесс перед тем, как дать окончательный ответ. Это помогает мне лучше понимать, как ИИ пришел к тому или иному выводу.

👾 Как вы проверяете результаты ИИ на валидность и воспроизводимость? Насколько вы им доверяете?
Насмотренность данными

На протяжении многих лет я занимаюсь аналитикой и исследованиями, постоянно нахожу и изучаю новые данные. В этом процессе я часто медитирую над различными источниками информации, включая как общеизвестные, так и совсем нишевые. Например, меня привлекают ботанические репозитории, содержащие десятки тысяч сканов гербариев и описаний цветов со всего мира. Конечно, я еще не посетила все информационные ресурсы в мире, и это вряд ли когда-либо станет возможным. Я, скорее всего, даже не охватила малую долю данных, касающихся моей основной темы — технологического развития экономики и экономики разных стран, включая экономику России. Хотя, Росстат, пожалуй, я использовала вдоль и поперек.

Тем не менее, я осознаю, что у меня развивается нечто, что можно назвать "насмотренностью данными". Проводя аналогию с дизайнерами, под этим термином я подразумеваю интуитивное, нерациональное понимание того, что те или иные данные могут существовать и где их можно найти.

Иногда я оказываюсь в довольно странных ситуациях. Например, на созвоне меня спрашивают, можем ли мы найти данные о том, в каких отраслях работают индивидуальные предприниматели в странах Юго-Восточной Азии. Я не могу сразу ответить ни да, ни нет, так как просто не знаю точного ответа. В такие моменты у меня в голове нет слов. Но как только я открываю Google и начинаю вводить запросы, что-то меняется. Я ищу аналитические центры, отчеты МВФ или Всемирного банка о поддержке малого и среднего предпринимательства в этих странах, и мои руки как будто печатают запросы быстрее, чем я успеваю об этом подумать.

С каждым разом я все быстрее осваиваю интерфейсы различных баз данных, которые бывают очень разные. Этот процесс превращается в своего рода навык. Мне очень нравится развивать эту насмотренность данными, даже если это не касается напрямую моей основной темы. Это позволяет мне лучше понимать, что можно найти и какие данные вообще бывают.

Итак, к чему все это? Просто я хотела поделиться с вами своими мыслями о насмотренности данными. Мне кажется, это интересное понятие. Насмотренность бывает не только у художников и дизайнеров. Иногда полезно проводить время в интернете, перескакивая между разными базами данных, просто чтобы понять, что можно найти и что существует в мире данных.
Forwarded from pole.center (Ivan Napreenko)
Коллеги, если вы пропустили пятничный вебинар Михаила Боде «ИИ для прикладных исследований», не расстраивайтесь!

Посмотреть запись можно по ссылке. Два с лишним часа опробованных на личном опыте приемов, как приручить алгоритмы для нужд рисерча.

Увидев огромный интерес (не всем хватило место на онлайн-трансляции) мы поняли, что надо проводить такие вебинары на регулярной основе: скоро будет новый анонс.
какая-то библиотека pinned «Люблю делать методички. Буду пополнять и расширять методичку "Советы по ИИ-промтам для социологов". Общая по промтам: https://docs.google.com/document/d/1beqDsX649w3UXG5B-XB3EA1DsfwFKz8hCv4vpDLCuIs/edit?usp=sharing Сборник промтов для социологов, рисерчеров:…»
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2025/06/29 12:34:14
Back to Top
HTML Embed Code: