Научно обоснованная политика: создание "банков доказательств"

В настоящее время правительства сталкиваются с необходимостью принимать решения по сложным вопросам, таким как изменение климата, здравоохранение и образование, опираясь на научные данные. Однако объем исследований огромен, и синтез информации для принятия обоснованных решений зачастую затруднен.

Проблема

Традиционно синтез научных данных – процесс трудоемкий и длительный. Исследователям приходится вручную просматривать множество публикаций, оценивать их качество, извлекать данные и обобщать результаты. Это может занимать месяцы или даже годы, что делает информацию устаревшей к моменту ее использования. Кроме того, в разных областях науки количество доступных синтезов сильно различается. Например, в медицине широко используются систематические обзоры, обобщающие результаты клинических испытаний, в то время как в социальных науках таких обзоров значительно меньше.

Решение

"Банки доказательств" представляют собой базы данных, содержащие предварительно отобранные и проанализированные исследования, помеченные метаданными, такими как методология, географическое положение и другие. Это позволяет исследователям и политикам быстро находить нужную информацию и проводить синтез данных с помощью специальных инструментов.

Преимущества

Ускорение процесса синтеза: Использование "банков доказательств" и инструментов на основе искусственного интеллекта (ИИ) позволяет значительно сократить время, необходимое для обобщения научных данных.

Повышение качества синтеза: Стандартизация данных и использование проверенных методов анализа повышают надежность и достоверность результатов.

Доступность информации: "Банки доказательств" делают научную информацию доступной для широкого круга пользователей, включая политиков, исследователей и общественность.

Постоянное обновление: "Живые" синтезы, которые постоянно обновляются по мере появления новых данных, позволяют политикам принимать решения на основе самой актуальной информации.

Примеры

Образование: Фонд Education Endowment Foundation (EEF) в Лондоне создал базу данных, содержащую более 3500 исследований в области образования. На основе этой базы были разработаны систематические обзоры, показывающие влияние различных факторов, таких как репетиторство, домашние задания и размер класса, на успеваемость учащихся.

Здравоохранение: В период пандемии COVID-19 возникла острая необходимость в быстрых синтезах данных для принятия решений о лекарствах, масках и карантинных мерах. Это привело к развитию инструментов и методов для ускорения процесса синтеза.

Перспективы

В настоящее время фонды, такие как Wellcome и ESRC, инвестируют значительные средства в разработку "банков доказательств" и инструментов для синтеза данных. Цель – создать систему, которая позволит политикам во всем мире получать быстрый доступ к актуальной научной информации и принимать обоснованные решения по важнейшим вопросам.

Автоматизация научных обзоров с помощью больших языковых моделей: систематический обзор

Большие языковые модели (LLM) недавно стали одним из самых мощных инструментов обработки естественного языка (NLP) для решения различных задач. В этом систематическом обзоре мы стремились оценить естественное расширение использования LLM для управления и направления процесса обзора.

Методы

Исследование проводилось в июне 2024 года в базах данных PubMed, Scopus, Dimensions и Google Scholar. В обзор были включены только англоязычные публикации, посвященные использованию LLM для автоматизации различных этапов систематического обзора.

Скрининг и извлечение данных проводились в Covidence с помощью разработанного командой плагина LLM для Covidence. Этот плагин использует модель OpenAI gpt-4o и автоматизирует действия в Covidence, такие как нажатие кнопок «Включить/Исключить» или оставление заметок.

Результаты

В общей сложности было найдено 3788 статей, из которых 172 были признаны подходящими для окончательного обзора. ChatGPT и LLM на основе GPT стали наиболее распространенной архитектурой для автоматизации обзора (n=126, 73,2%). Значительное количество проектов по автоматизации обзора было найдено, но лишь ограниченное число статей (n=26, 15,1%) представляли собой фактические обзоры, в которых LLM использовались при их создании.

Большинство статей были сосредоточены на автоматизации определенного этапа обзора, например, на поиске публикаций (n=60, 34,9%) и извлечении данных (n=54, 31,4%). При сравнении совокупной производительности моделей на основе GPT и BERT первые показали лучшие результаты в извлечении данных со средней точностью 83,0% (SD=10,4) и полнотой 86,0% (SD=9,8), в то время как вторые были немного менее точными на этапе скрининга заголовков и рефератов (Maccuracy=77,3%, SD=13,0 против Maccuracy=80,9% SD=11,8).

Примеры использования LLM

- Поиск публикаций: LLM могут использоваться для автоматического поиска релевантных публикаций в базах данных, таких как PubMed, Scopus и Web of Science.

- Скрининг заголовков и рефератов: LLM могут использоваться для автоматического скрининга заголовков и рефератов на предмет релевантности, что позволяет рецензентам сосредоточиться на полнотекстовом скрининге.

- Извлечение данных: LLM могут использоваться для автоматического извлечения данных из полнотекстовых статей, таких как характеристики участников, вмешательства и результаты.

- Синтез данных: LLM могут использоваться для автоматического синтеза данных из нескольких статей, что позволяет рецензентам получить более полное представление о состоянии исследований.

Ограничения

- Точность: Хотя LLM достигли значительных успехов в точности, они все еще могут допускать ошибки, особенно при извлечении данных из сложных или неоднозначных текстов.

- Предвзятость: LLM могут быть подвержены предвзятости, основанной на данных, на которых они были обучены.

- Этика: Использование LLM в автоматизации обзора поднимает этические вопросы, такие как прозрачность, подотчетность и потенциальное смещение.

коллеги

в чате высказали пожелание провести какой-то курс про научные источники и автоматизацию (т.е. ИИ, хотя, пожалуй, и не только).

давайте так — если в комментариях откликнется хотя бы 10 желающих, я организую набор на закрытый курс. он будет бесплатный, приму всех, но все-таки это не будут изначально открытые вебинары. мне кажется, так больше пользы, мотивации и общения.

обсудим поиск (научный и не очень), хранение статей, промты, ИИ и что-нибудь еще по желанию аудитории.

коллеги, спасибо, делаем! спрос есть — я обязана дать предложение.

завтра сделаю анонс с регистрацией и начнем. не буду долго готовиться и страдать перфекционизмом. думаю, так полезнее и приятнее нам всем.

спасибо за интерес с вашей стороны ❤️

поддержать канал: https://taplink.cc/ekaganova

Если возникли проблемы со ссылками и доступами — пишите мне @eak_ka

Может ли искусственный интеллект победить теории заговора?

Многие из нас сталкивались с людьми, которые верят в то, что высадка на Луну была подстроена или что вакцины от COVID-19 содержат микрочипы. Подобные теории заговора, несмотря на отсутствие реальных оснований, упорно держатся в умах некоторых людей, даже при наличии опровергающих доказательств. Однако, согласно новому исследованию, опубликованному в журнале Science, некоторые люди всё же меняют своё мнение, когда аргументы, основанные на фактах, преподносит им искусственный интеллект (ИИ) в виде чат-бота, а не другой человек.

Исследователи обнаружили, что персонализированные беседы с таким "дебанкером-ботом" могут превратить даже ярых сторонников теорий заговора в начинающих скептиков.

"Очень обнадеживает видеть, как ИИ может играть роль в борьбе с дезинформацией и теориями заговора", – говорит Ян-Виллем ван Прооиен, специалист по поведенческой науке из Амстердамского свободного университета, не принимавший участия в исследовании. Генеративный ИИ печально известен своей способностью распространять ложь, особенно через дипфейки, поэтому ван Прооиен считает "обновляющим" видеть его применение во благо.

По некоторым оценкам, почти половина населения США верит в ту или иную теорию заговора – от убеждения, что ЦРУ убило Джона Кеннеди, до веры в то, что в Зоне 51 хранятся тела инопланетян. Многие психологи считают, что такие убеждения помогают удовлетворить глубинные психологические потребности, например, стремление к безопасности. Однако гипотезы о таких "подпольных мотивах" сложно проверить, говорит Томас Костелло, психолог из Американского университета и ведущий автор нового исследования. Новые результаты дают "одно из первых действительно веских доказательств того, что это не вся история", говорит он, "или, возможно, что они совершенно неверны".

Как работает "дебанкер-бот"?

В ходе исследования учёные использовали большие языковые модели (LLM), такие как GPT-4 Turbo, способные обрабатывать и генерировать огромные объёмы информации за считанные секунды. Они хотели узнать, могут ли эти модели опровергать теории заговора с помощью "индивидуализированных убеждений".

В исследовании приняли участие более 2000 человек, которые признали, что верят хотя бы в одну теорию заговора. Участники поделились с чат-ботом своими убеждениями, доказательствами, которые, по их мнению, их подтверждают, и оценили, насколько они уверены в правдивости теории. Чат-бот, обученный на широком спектре общедоступной информации из книг, онлайн-дискуссий и других источников, опровергал каждое утверждение конкретными, основанными на фактах контраргументами.

Результаты исследования:

В результате бесед с чат-ботом уверенность людей в своих теориях заговора в среднем снизилась на 20%. Это снижение было удивительно устойчивым, сохраняясь до 2 месяцев, и, похоже, работало для широкого спектра теорий.

Почему "дебанкер-бот" так эффективен?

По мнению ван Прооиена, одной из причин успеха чат-бота является его "вежливость". В отличие от реальных разговоров на подобные темы, которые часто становятся "напряжёнными и неуважительными", общение с ИИ не вызывает дискомфорта. Кроме того, люди не боятся "потерять лицо" перед искусственным интеллектом, в отличие от общения с друзьями или родственниками.

Критика и дальнейшие перспективы:

Некоторые исследователи, например, Федерико Джермани из Цюрихского университета, предполагают, что ИИ может использовать скрытые риторические приёмы, которые делают его аргументы более убедительными, даже если он запрограммирован полагаться исключительно на факты.

Другие учёные ставят под сомнение, опровергают ли полученные результаты идею о том, что теории заговора удовлетворяют неудовлетворённые психологические потребности. Они отмечают, что в исследовании не измерялось, чувствовали ли участники удовлетворение своих потребностей после общения с чат-ботом.

Логика исследовательского поиска: от темы к данным

В исследовательской работе поиск информации — это не просто сбор фактов, а целенаправленный процесс, требующий осмысления и анализа. Он отличается от простого сбора данных тем, что мы ищем ответы на конкретные вопросы, а не просто случайные фрагменты информации. Как же эффективно организовать этот процесс?

Ключевыми этапами исследовательского поиска являются:

Тема: Общая область исследования. Например, "развитие инноваций в сфере производства продуктов питания". Тема задает направление, но слишком широка для практической работы.

Вопрос (запрос): Конкретизация темы. Например, "Какова динамика патентов на инновации в пищевой промышленности России в 2024 году?". Запрос фокусирует поиск и определяет, какую информацию нужно искать.

Данные: Информация, собранная для ответа на запросы. Это могут быть статистические отчеты, патенты, научные статьи, и т.д. Данные анализируются и интерпретируются для получения ответов.

📎 Пример:

Тема: Влияние социальных сетей на политические предпочтения.

Вопрос: Как использование Twitter влияет на формирование политических взглядов у молодых избирателей в США?

Данные: Статистика использования Twitter, результаты опросов молодых избирателей, аналитические статьи о влиянии социальных сетей на политику.

Переход от общей темы к конкретным вопросам и далее к сбору и анализу данных — основа эффективного исследовательского поиска.

Переход от темы к вопросу

Первая проблема, с которой мы сталкиваемся, - это слишком широкие концепции. Например, "инновации в сфере продуктов питания", "состояние рынка онлайн-образования", "лучшие практики в фитнес-приложениях для корпоративных клиентов" - все это слишком общие понятия.

Формулирование конкретных вопросов помогает нам сузить фокус исследования, понять, какие аспекты объекта исследования нужно изучать отдельно, а какие можно интегрировать на более позднем этапе.
Например, мы можем понять, что не нужно охватывать все аспекты темы, а достаточно сосредоточиться на каком-то конкретном аспекте. Это позволит нам сэкономить время и ресурсы.

В коллективах часто возникает проблема неясности или неопределенности понятий. Например, "развитие", "динамика рынка", "состояние рынка", "тренды" - все эти понятия могут интерпретироваться по-разному.
Важно понимать, что ваш коллега или клиент может иметь в виду что-то другое, чем вы.

Например, "прорывная компания" может пониматься по-разному: кто-то может считать такой компанию, которая заработала много денег, а кто-то - компанию, которая получила широкую известность благодаря пиару.

Чтобы избежать путаницы, необходимо согласовать определения ключевых терминов до начала исследования.

На ранних стадиях исследования может быть неясно, какой именно результат ожидается. Это приводит к формулированию вопросов, которые не приводят к полезным данным или ответам.

Чтобы решить эту проблему, важно заранее согласовать цели исследования и сформулировать вопросы таким образом, чтобы они вели к конкретным результатам.

Часто сложность этого этапа связана с тем, что мы не знаем, что именно хотим понять. Это нормальная ситуация, не стоит ее бояться.

Когда мы начинаем исследовать новую тему или рынок, мы можем не понимать, что именно хотим найти на данном этапе. В этом случае просто нужно обратиться к Google или другим ресурсам, чтобы найти свежие обзоры по теме.

Переход от вопроса к данным

В предыдущем посте мы разобрали, как правильно сформулировать вопрос из темы. Теперь наша задача - получить данные, которые помогут нам на него ответить.

На этом этапе мы переводим наш вопрос с человеческого языка на язык, который поймут поисковые машины. Это не просто переформатирование запроса, а ряд действий, которые помогут оптимизировать поиск.

Сначала мы определяем ключевые слова, которые описывают самое важное в нашем запросе.

Поисковые системы позволяют сузить область поиска. В Google это можно сделать с помощью фильтров по времени (например, за последние полгода) и географии (страна или язык).

Важно задать себе вопрос: какой источник информации нам нужен? В Google можно переключаться между разными источниками.

Например, для поиска новостей о экологических катастрофах в России лучше использовать новостные агрегаторы.

Если же нужна информация о накопленном ущербе от разливов нефти, то лучше использовать классический поиск, так как эта информация скорее всего содержится в отчетах и исследованиях.

Для получения конкретных цифр о количестве разливов нефти в России за последние 5 лет с динамикой по годам, лучше обратиться к статистическим агрегаторам, например, к открытым данным Росстата.

Моё место приложений знаний и навыков в области Desk Research ♥️