tgoop.com/tarmolov_work/118
Last Update:
Когда у тебя очень много прав в продакшен окружении, даже небольшая опечатка может привести к катастрофе.
Обычное дежурство. Ответственный админ заметил, что один из серверов барахлит. Это обычное дело, и чаще всего его либо перезагружают, либо уводят с него нагрузку.
Админ выполнил команду и продолжил заниматься своими делами. Мониторинги "завыли" и засверкали как новогодняя елка.
В выполненной команде закралась небольшая опечатка, и админ вместо одного сервера перезагрузил целый кластер, состоящий из десятков серверов.
Сервера один за другим стали перезагружаться. Оставшиеся сервера не выдержали нагрузки, и сервис стал падать.
Самое страшное, что после перезагрузки не все сервера вернулись в строй. Пока админы реанимировали сервера вручную, часть наших пользователей испытывали неудобства.
Говорят, что после этого инцидента появилась защита от дурака. При запуске команды на кластере серверов необходимо вводить фразу «I know what I’m doing» :)
С большой силой приходит большая ответственность (с)
Мораль: когда выполняете потенциально деструктивные команды, перепроверяйте несколько раз и будьте внимательны.
#байки #инциденты
BY Тармолов про работу
Share with your friend now:
tgoop.com/tarmolov_work/118