🎯Можно ли доказать, что эффекта нет? Почему байесовские факторы нередко вводят в заблуждение
🐈⬛ В публикациях всё чаще встречается утверждение: «Байесовский фактор показал, что эффекта нет». Звучит уже привычно, но с научной точки зрения — некорректно.
📌Факт: ни один статистический показатель — ни p-значения, ни доверительные интервалы, ни байесовские факторы (BF) — не способен доказать, что эффект точно отсутствует. Он лишь может предоставить оценку того, насколько данные совместимы с определёнными моделями, заданными заранее.
🔍Что такое байесовский фактор и где подвох?
BF — это отношение правдоподобий двух гипотез:
H₀: эффекта нет
H₁: эффект есть (задан через распределение вероятностей — априорное распределение)
Если BF < 1, это трактуется как «в пользу H₀». Но на деле это означает лишь, что данные хуже согласуются с конкретной H₁, чем с H₀. Проблема в том, какую именно H₁ вы задали.
⚠️ Как BF "ошибается" – проблема априорного распределения:
Во многих исследованиях H₁ задаётся автоматически: например, с помощью широкого распределения Коши (0, 1), что предполагает ожидание крупных эффектов (напр., d > 0.70).
Но если реальный эффект скромный (напр., d = 0.20, что нормально), BF будет "наказывать" H₁ за чрезмерные ожидания и ошибочно предпочтёт нуль — даже если данные вполне совместимы с этим эффектом.
💉Можно смоделировать клиническое исследование: 40 пациентов в каждой группе, лёгкое улучшение от терапии (эффект d = 0.20), тогда:
🔴p < .05 — в 14% случаев
🔴BF > 3 в пользу H₀ — в 47% (!) случаев
🔴BF > 3 в пользу H₁ — в 7%
То есть почти в половине случаев BF «решает», что терапия неэффективна, хотя на деле эффект есть — просто слабый. Эта ошибка критична в контексте, где реальные эффекты зачастую малы, но стабильны и кумулятивны.
🧠Что об этом говорит философия науки?
🤓 Эффект — это не "вещь в мире", а паттерн в данных, зависящий от:
🔴конструкции исследования,
🔴уровня анализа (индивид / группа / популяция),
🔴теоретических допущений,
🔴используемой модели (включая априорное распределение).
📣 Эффект — это не "есть или нет". Это то, как данные структурированы нашим инструментом.
❗️Байесовские факторы:
🟣предполагают заранее заданную H₁, которая часто не соответствует реальному эффекту
🟣требуют явной теоретической модели для априорного распределения, которой часто нет
🟣используются без достаточного контроля над допущениями априорного распределения (напр., настройки по умолчанию в статистических пакетах Коши с масштабом 0.707), что приводит к ложной уверенности в "нуле".
📌Частотные методы при этом:
🟠не требуют априорного распределения,
🟠дают диапазон возможных эффектов,
🟠предоставляют возможность задать зону клинической или практической эквивалентности
✔️Что делать?
✅Не полагаться на BF как на абсолютный критерий отсутствия эффекта
✅Оценивать доверительные интервалы
✅Использовать тест эквивалентности (TOST), чтобы честно исключать практически значимые эффекты
✅Всегда осмысленно задавать априорное распределение, если всё же используется BF
✅Не делать выводов «эффекта нет»
🧭Итого
🟣BF не доказывает, что эффекта нет — он показывает, насколько данные согласуются с конкретной H₁
🟣Если априорное распределение на эффект задано неправдоподобно, BF может ввести в заблуждение
🟣Эффект — это структурное соотношение в данных, а не объективное свойство «в мире»
🟣Малые эффекты — норма, а не артефакт, их нельзя просто «объявить нулевыми»
🎯Можно ли доказать, что эффекта нет? Почему байесовские факторы нередко вводят в заблуждение
🐈⬛ В публикациях всё чаще встречается утверждение: «Байесовский фактор показал, что эффекта нет». Звучит уже привычно, но с научной точки зрения — некорректно.
📌Факт: ни один статистический показатель — ни p-значения, ни доверительные интервалы, ни байесовские факторы (BF) — не способен доказать, что эффект точно отсутствует. Он лишь может предоставить оценку того, насколько данные совместимы с определёнными моделями, заданными заранее.
🔍Что такое байесовский фактор и где подвох?
BF — это отношение правдоподобий двух гипотез:
H₀: эффекта нет
H₁: эффект есть (задан через распределение вероятностей — априорное распределение)
Если BF < 1, это трактуется как «в пользу H₀». Но на деле это означает лишь, что данные хуже согласуются с конкретной H₁, чем с H₀. Проблема в том, какую именно H₁ вы задали.
⚠️ Как BF "ошибается" – проблема априорного распределения:
Во многих исследованиях H₁ задаётся автоматически: например, с помощью широкого распределения Коши (0, 1), что предполагает ожидание крупных эффектов (напр., d > 0.70).
Но если реальный эффект скромный (напр., d = 0.20, что нормально), BF будет "наказывать" H₁ за чрезмерные ожидания и ошибочно предпочтёт нуль — даже если данные вполне совместимы с этим эффектом.
💉Можно смоделировать клиническое исследование: 40 пациентов в каждой группе, лёгкое улучшение от терапии (эффект d = 0.20), тогда:
🔴p < .05 — в 14% случаев
🔴BF > 3 в пользу H₀ — в 47% (!) случаев
🔴BF > 3 в пользу H₁ — в 7%
То есть почти в половине случаев BF «решает», что терапия неэффективна, хотя на деле эффект есть — просто слабый. Эта ошибка критична в контексте, где реальные эффекты зачастую малы, но стабильны и кумулятивны.
🧠Что об этом говорит философия науки?
🤓 Эффект — это не "вещь в мире", а паттерн в данных, зависящий от:
🔴конструкции исследования,
🔴уровня анализа (индивид / группа / популяция),
🔴теоретических допущений,
🔴используемой модели (включая априорное распределение).
📣 Эффект — это не "есть или нет". Это то, как данные структурированы нашим инструментом.
❗️Байесовские факторы:
🟣предполагают заранее заданную H₁, которая часто не соответствует реальному эффекту
🟣требуют явной теоретической модели для априорного распределения, которой часто нет
🟣используются без достаточного контроля над допущениями априорного распределения (напр., настройки по умолчанию в статистических пакетах Коши с масштабом 0.707), что приводит к ложной уверенности в "нуле".
📌Частотные методы при этом:
🟠не требуют априорного распределения,
🟠дают диапазон возможных эффектов,
🟠предоставляют возможность задать зону клинической или практической эквивалентности
✔️Что делать?
✅Не полагаться на BF как на абсолютный критерий отсутствия эффекта
✅Оценивать доверительные интервалы
✅Использовать тест эквивалентности (TOST), чтобы честно исключать практически значимые эффекты
✅Всегда осмысленно задавать априорное распределение, если всё же используется BF
✅Не делать выводов «эффекта нет»
🧭Итого
🟣BF не доказывает, что эффекта нет — он показывает, насколько данные согласуются с конкретной H₁
🟣Если априорное распределение на эффект задано неправдоподобно, BF может ввести в заблуждение
🟣Эффект — это структурное соотношение в данных, а не объективное свойство «в мире»
🟣Малые эффекты — норма, а не артефакт, их нельзя просто «объявить нулевыми»
On Tuesday, some local media outlets included Sing Tao Daily cited sources as saying the Hong Kong government was considering restricting access to Telegram. Privacy Commissioner for Personal Data Ada Chung told to the Legislative Council on Monday that government officials, police and lawmakers remain the targets of “doxxing” despite a privacy law amendment last year that criminalised the malicious disclosure of personal information. Informative Telegram channels fall into two types: Avoid compound hashtags that consist of several words. If you have a hashtag like #marketingnewsinusa, split it into smaller hashtags: “#marketing, #news, #usa. Unlimited number of subscribers per channel
from us
