Комментарии к новой анкете исследовательского центра при БГЭУ

На днях ко мне попала анкета одного из текущих опросов исследовательского центра при моей альма-матер. Анкета посвящена внешнеполитическим представлениям беларусов, в частности, сотрудничеству с Сербией. Есть также вопросы про предстоящие выборы, что заставляет подозревать, что результаты исследования будут использованы в пропагандистских целях, как уже бывало с этим исследовательским центром.

Ниже несколько впечатлений о качестве анкеты.

1. В половине вопросов нет варианта ответа "Затрудняюсь ответить", хотя он нужен. Например, многие могут не иметь мнения по поводу принципов "организации и развития общества" или "критериев для выбора международного партнера". В результате авторы получат искусственные ответы, мало общего имеющие с реальными жизненными ситуациями. Это пример распространенной в опросах ошибки: навязывания проблематики.

2. Почему-то вопрос 12 про оценку социальной политики не включает медицину и образование - классические сферы. Кроме того, не совсем ясно можно ли задавать вопрос про весь период независимости, ведь разные периоды респонденты могут оценивать по-разному, наверно тут лучше бы про текущую ситуацию спрашивать. Однако сложно понять, не зная что именно хотели замерить этим вопросом.

К слову, во многих вопросах анкеты использованы наборы ответов, которые выглядят достаточно произвольными или, как минимум, не полными. Также используется не распространенные в общественных дискуссиях формулировки вроде "европейского мира" по аналогии с "русским миром".

3. Открытый вопрос №6 про отличительные черты славят стоит после закрытого вопроса №7 про черты, объединяющие славянские страны. Соответственно, отвечая на шестой вопрос, респонденты уже будут помнить примеры таких черт из предыдущего вопроса и это повлияет на их ответ - такое искажение называется order bias. Кроме того, тут нет варианта "Объединяющих черт нет" и "Затрудняюсь ответить" - без них этот вопрос является наводящим, поскольку подразумевает, что существуют какие-то славяне и у них есть какие-то общие черты, среди которых к тому же можно выделить главные (по отношению к чему "главные"?).

4. Грубая ошибка в вопросе 14 про планы участвовать в выборах: несбалансированная шкала. Есть два варианта, отражающих намерение участвовать "Да" и "Скорее да" и один варианты, отражающий намерение не участвовать "Нет". В результате получится завышенный прогноз явки. Впечатление, что этот вопрос, как и следующий, составляли не социологи, а прислали напрямую из администрации президента.

5. Явный фрейминг в вопросе 15, замеряющем электоральный рейтинг. Авторы вопроса зачем-то подчеркнули статус главы государства у Лукашенко, а для остальных кандидатов оставили только один вариант ответа, назвав их "альтернативными". Такая подача выставляет Лукашенко серьезным кандидатом на фоне остальных, чья "альтернативность" может ассоциироваться с тем, что они нестандартные, дополнительные, формальные и т.п. Ну, могли бы сразу спрашивать "вы за будущего президента или за бессмысленных спойлеров?".

В общем, главной проблемой анкеты кажется навязывание проблематики и грубые манипуляции в вопросах про выборы.

Бросается в глаза также множество мелких помарок. Например, вопрос "2. Насколько вы осведомлены …?" не предполагает ответа "нет", как в третьем варианте ответа. Или, другой, пример, в вопросе "3. На ваш взгляд, белорусы исторически ближе?" пропущено "к чему". Такое бывает, когда очень спешишь и нет времени на вычитку, но может быть также показателем непрофессионализма, невнимательности к деталям.

Есть в анкете и хорошие вопросы. Например, №11, которые замеряет экономические ожидания. Под "экономической ситуацией" разные респонденты будут понимать разные вещи и, соответственно, отвечать про разное, но возможно авторы и хотели замерить абстрактное восприятие. При этом сформулирован вопрос хорошо: конкретный (указаны года), широко используемая сбалансированная шкала Ликерта, есть вариант "затрудняюсь ответить".