🚨Обнаружение аномалий в данных: как улучшить качество анализа
Один из наших подписчиков поделился, как он решал задачу детекции аномалий в данных.
Вот его опыт:
«Когда передо мной впервые встала задача поиска аномалий, я начал с HBOS (Histogram Based Outlier Selection). Почему именно он? Всё просто — он быстрый. Алгоритм строит гистограмму распределения, делит данные на бины и вычисляет, какие из них выбиваются.
Работает он молниеносно, особенно на больших выборках — и это был огромный плюс. Но я быстро понял, что тут всё упирается в количество бинов. Переобучение? Пропуск аномалий? Всё зависит от настройки. Немного промахнулся — и часть аномалий прошли мимо.
Потом я решил попробовать ECOD — Empirical Cumulative Distribution-based Outlier Detection. Этот метод стал для меня приятным сюрпризом. Никаких лишних настроек, просто подаёшь данные — и он работает. Он строит эмпирическую функцию распределения и ищет выбросы на её основе.
Конечно, у ECOD тоже есть свои ограничения — он предполагает, что признаки независимы. Но в моём случае это было приемлемо, и результат оказался точнее, чем у HBOS.»
💡Вывод от подписчика
➡️ HBOS — отличный выбор, если нужен результат «на сейчас», особенно для грубой фильтрации. Но если хочется более осознанного подхода, ECOD даёт свободу — без сложной настройки и с достойной точностью.
➡️ Оба метода легко реализуются через PyOD — рекомендую.
🚨Обнаружение аномалий в данных: как улучшить качество анализа
Один из наших подписчиков поделился, как он решал задачу детекции аномалий в данных.
Вот его опыт:
«Когда передо мной впервые встала задача поиска аномалий, я начал с HBOS (Histogram Based Outlier Selection). Почему именно он? Всё просто — он быстрый. Алгоритм строит гистограмму распределения, делит данные на бины и вычисляет, какие из них выбиваются.
Работает он молниеносно, особенно на больших выборках — и это был огромный плюс. Но я быстро понял, что тут всё упирается в количество бинов. Переобучение? Пропуск аномалий? Всё зависит от настройки. Немного промахнулся — и часть аномалий прошли мимо.
Потом я решил попробовать ECOD — Empirical Cumulative Distribution-based Outlier Detection. Этот метод стал для меня приятным сюрпризом. Никаких лишних настроек, просто подаёшь данные — и он работает. Он строит эмпирическую функцию распределения и ищет выбросы на её основе.
Конечно, у ECOD тоже есть свои ограничения — он предполагает, что признаки независимы. Но в моём случае это было приемлемо, и результат оказался точнее, чем у HBOS.»
💡Вывод от подписчика
➡️ HBOS — отличный выбор, если нужен результат «на сейчас», особенно для грубой фильтрации. Но если хочется более осознанного подхода, ECOD даёт свободу — без сложной настройки и с достойной точностью.
➡️ Оба метода легко реализуются через PyOD — рекомендую.
Ng was convicted in April for conspiracy to incite a riot, public nuisance, arson, criminal damage, manufacturing of explosives, administering poison and wounding with intent to do grievous bodily harm between October 2019 and June 2020. “[The defendant] could not shift his criminal liability,” Hui said. Read now There have been several contributions to the group with members posting voice notes of screaming, yelling, groaning, and wailing in different rhythms and pitches. Calling out the “degenerate” community or the crypto obsessives that engage in high-risk trading, Co-founder of NFT renting protocol Rentable World emiliano.eth shared this group on his Twitter. He wrote: “hey degen, are you stressed? Just let it out all out. Voice only tg channel for screaming”.
from us
