После релиза новой фичи «подробная аналитика кликов» всё шло гладко… первые 20 минут. Потом CPU → 100%, база перестала отвечать, алерты полетели один за другим.
➰ При расследовании выяснилось:
каждый клик пользователя логировался синхронно, в отдельной транзакции к базе. Когда онлайн вырос, сервер просто не выдержал объём I/O — тысячи INSERT-запросов в секунду, никакого батчинга, никакой асинхронщины.
💡 Логирование — это тоже I/O. Если можно, отправляйте события асинхронно: через очередь, буфер или отдельный сервис телеметрии. А при тестировании не забывайте нагружать «второстепенные» функции — иногда именно они валят весь прод.
❓А вы проверяете поведение системы при активной аналитике или логировании:
👍 — Да, это часть нагрузочных тестов 🔥 — Только когда прод уже горит
После релиза новой фичи «подробная аналитика кликов» всё шло гладко… первые 20 минут. Потом CPU → 100%, база перестала отвечать, алерты полетели один за другим.
➰ При расследовании выяснилось:
каждый клик пользователя логировался синхронно, в отдельной транзакции к базе. Когда онлайн вырос, сервер просто не выдержал объём I/O — тысячи INSERT-запросов в секунду, никакого батчинга, никакой асинхронщины.
💡 Логирование — это тоже I/O. Если можно, отправляйте события асинхронно: через очередь, буфер или отдельный сервис телеметрии. А при тестировании не забывайте нагружать «второстепенные» функции — иногда именно они валят весь прод.
❓А вы проверяете поведение системы при активной аналитике или логировании:
👍 — Да, это часть нагрузочных тестов 🔥 — Только когда прод уже горит
The public channel had more than 109,000 subscribers, Judge Hui said. Ng had the power to remove or amend the messages in the channel, but he “allowed them to exist.” Today, we will address Telegram channels and how to use them for maximum benefit. With the sharp downturn in the crypto market, yelling has become a coping mechanism for many crypto traders. This screaming therapy became popular after the surge of Goblintown Ethereum NFTs at the end of May or early June. Here, holders made incoherent groaning sounds in late-night Twitter spaces. They also role-played as urine-loving Goblin creatures. 2How to set up a Telegram channel? (A step-by-step tutorial) 4How to customize a Telegram channel?
from us
