🎯Можно ли доказать, что эффекта нет? Почему байесовские факторы нередко вводят в заблуждение
🐈⬛ В публикациях всё чаще встречается утверждение: «Байесовский фактор показал, что эффекта нет». Звучит уже привычно, но с научной точки зрения — некорректно.
📌Факт: ни один статистический показатель — ни p-значения, ни доверительные интервалы, ни байесовские факторы (BF) — не способен доказать, что эффект точно отсутствует. Он лишь может предоставить оценку того, насколько данные совместимы с определёнными моделями, заданными заранее.
🔍Что такое байесовский фактор и где подвох?
BF — это отношение правдоподобий двух гипотез:
H₀: эффекта нет
H₁: эффект есть (задан через распределение вероятностей — априорное распределение)
Если BF < 1, это трактуется как «в пользу H₀». Но на деле это означает лишь, что данные хуже согласуются с конкретной H₁, чем с H₀. Проблема в том, какую именно H₁ вы задали.
⚠️ Как BF "ошибается" – проблема априорного распределения:
Во многих исследованиях H₁ задаётся автоматически: например, с помощью широкого распределения Коши (0, 1), что предполагает ожидание крупных эффектов (напр., d > 0.70).
Но если реальный эффект скромный (напр., d = 0.20, что нормально), BF будет "наказывать" H₁ за чрезмерные ожидания и ошибочно предпочтёт нуль — даже если данные вполне совместимы с этим эффектом.
💉Можно смоделировать клиническое исследование: 40 пациентов в каждой группе, лёгкое улучшение от терапии (эффект d = 0.20), тогда:
🔴p < .05 — в 14% случаев
🔴BF > 3 в пользу H₀ — в 47% (!) случаев
🔴BF > 3 в пользу H₁ — в 7%
То есть почти в половине случаев BF «решает», что терапия неэффективна, хотя на деле эффект есть — просто слабый. Эта ошибка критична в контексте, где реальные эффекты зачастую малы, но стабильны и кумулятивны.
🧠Что об этом говорит философия науки?
🤓 Эффект — это не "вещь в мире", а паттерн в данных, зависящий от:
🔴конструкции исследования,
🔴уровня анализа (индивид / группа / популяция),
🔴теоретических допущений,
🔴используемой модели (включая априорное распределение).
📣 Эффект — это не "есть или нет". Это то, как данные структурированы нашим инструментом.
❗️Байесовские факторы:
🟣предполагают заранее заданную H₁, которая часто не соответствует реальному эффекту
🟣требуют явной теоретической модели для априорного распределения, которой часто нет
🟣используются без достаточного контроля над допущениями априорного распределения (напр., настройки по умолчанию в статистических пакетах Коши с масштабом 0.707), что приводит к ложной уверенности в "нуле".
📌Частотные методы при этом:
🟠не требуют априорного распределения,
🟠дают диапазон возможных эффектов,
🟠предоставляют возможность задать зону клинической или практической эквивалентности
✔️Что делать?
✅Не полагаться на BF как на абсолютный критерий отсутствия эффекта
✅Оценивать доверительные интервалы
✅Использовать тест эквивалентности (TOST), чтобы честно исключать практически значимые эффекты
✅Всегда осмысленно задавать априорное распределение, если всё же используется BF
✅Не делать выводов «эффекта нет»
🧭Итого
🟣BF не доказывает, что эффекта нет — он показывает, насколько данные согласуются с конкретной H₁
🟣Если априорное распределение на эффект задано неправдоподобно, BF может ввести в заблуждение
🟣Эффект — это структурное соотношение в данных, а не объективное свойство «в мире»
🟣Малые эффекты — норма, а не артефакт, их нельзя просто «объявить нулевыми»
🎯Можно ли доказать, что эффекта нет? Почему байесовские факторы нередко вводят в заблуждение
🐈⬛ В публикациях всё чаще встречается утверждение: «Байесовский фактор показал, что эффекта нет». Звучит уже привычно, но с научной точки зрения — некорректно.
📌Факт: ни один статистический показатель — ни p-значения, ни доверительные интервалы, ни байесовские факторы (BF) — не способен доказать, что эффект точно отсутствует. Он лишь может предоставить оценку того, насколько данные совместимы с определёнными моделями, заданными заранее.
🔍Что такое байесовский фактор и где подвох?
BF — это отношение правдоподобий двух гипотез:
H₀: эффекта нет
H₁: эффект есть (задан через распределение вероятностей — априорное распределение)
Если BF < 1, это трактуется как «в пользу H₀». Но на деле это означает лишь, что данные хуже согласуются с конкретной H₁, чем с H₀. Проблема в том, какую именно H₁ вы задали.
⚠️ Как BF "ошибается" – проблема априорного распределения:
Во многих исследованиях H₁ задаётся автоматически: например, с помощью широкого распределения Коши (0, 1), что предполагает ожидание крупных эффектов (напр., d > 0.70).
Но если реальный эффект скромный (напр., d = 0.20, что нормально), BF будет "наказывать" H₁ за чрезмерные ожидания и ошибочно предпочтёт нуль — даже если данные вполне совместимы с этим эффектом.
💉Можно смоделировать клиническое исследование: 40 пациентов в каждой группе, лёгкое улучшение от терапии (эффект d = 0.20), тогда:
🔴p < .05 — в 14% случаев
🔴BF > 3 в пользу H₀ — в 47% (!) случаев
🔴BF > 3 в пользу H₁ — в 7%
То есть почти в половине случаев BF «решает», что терапия неэффективна, хотя на деле эффект есть — просто слабый. Эта ошибка критична в контексте, где реальные эффекты зачастую малы, но стабильны и кумулятивны.
🧠Что об этом говорит философия науки?
🤓 Эффект — это не "вещь в мире", а паттерн в данных, зависящий от:
🔴конструкции исследования,
🔴уровня анализа (индивид / группа / популяция),
🔴теоретических допущений,
🔴используемой модели (включая априорное распределение).
📣 Эффект — это не "есть или нет". Это то, как данные структурированы нашим инструментом.
❗️Байесовские факторы:
🟣предполагают заранее заданную H₁, которая часто не соответствует реальному эффекту
🟣требуют явной теоретической модели для априорного распределения, которой часто нет
🟣используются без достаточного контроля над допущениями априорного распределения (напр., настройки по умолчанию в статистических пакетах Коши с масштабом 0.707), что приводит к ложной уверенности в "нуле".
📌Частотные методы при этом:
🟠не требуют априорного распределения,
🟠дают диапазон возможных эффектов,
🟠предоставляют возможность задать зону клинической или практической эквивалентности
✔️Что делать?
✅Не полагаться на BF как на абсолютный критерий отсутствия эффекта
✅Оценивать доверительные интервалы
✅Использовать тест эквивалентности (TOST), чтобы честно исключать практически значимые эффекты
✅Всегда осмысленно задавать априорное распределение, если всё же используется BF
✅Не делать выводов «эффекта нет»
🧭Итого
🟣BF не доказывает, что эффекта нет — он показывает, насколько данные согласуются с конкретной H₁
🟣Если априорное распределение на эффект задано неправдоподобно, BF может ввести в заблуждение
🟣Эффект — это структурное соотношение в данных, а не объективное свойство «в мире»
🟣Малые эффекты — норма, а не артефакт, их нельзя просто «объявить нулевыми»
The group also hosted discussions on committing arson, Judge Hui said, including setting roadblocks on fire, hurling petrol bombs at police stations and teaching people to make such weapons. The conversation linked to arson went on for two to three months, Hui said. Telegram Android app: Open the chats list, click the menu icon and select “New Channel.” “Hey degen, are you stressed? Just let it all out,” he wrote, along with a link to join the group. Select: Settings – Manage Channel – Administrators – Add administrator. From your list of subscribers, select the correct user. A new window will appear on the screen. Check the rights you’re willing to give to your administrator. While some crypto traders move toward screaming as a coping mechanism, many mental health experts have argued that “scream therapy” is pseudoscience. Scientific research or no, it obviously feels good.
from us
