💻 Чек-лист по бэкапам и восстановлению после сбоев

Составили для вас профессиональный чек-лист из 10 ключевых пунктов, который поможет организовать надёжные резервные копии и отработать процесс восстановления.

✅ Определите RPO и RTO

• RPO (Recovery Point Objective) — максимально допустимый объём данных, который может быть потерян.

• RTO (Recovery Time Objective) — максимальное время простоя системы после сбоя.

✅ Инвентаризация данных и систем

• Выявите критичные компоненты (БД, файловые хранилища, конфигурации).

• Определите приоритеты их восстановления.

✅ Выбор стратегии резервного копирования

• Полные бэкапы (full backups) — создают копию всей системы.

• Инкрементальные (incremental) — сохраняют только изменения после последнего бэкапа.

• Дифференциальные (differential) — сохраняют изменения после последнего полного бэкапа.

✅ Автоматизация процесса

• Настройте периодические задачи (cron, Scheduled Tasks, облачные функции).

• Используйте инструменты: AWS Backup, Azure Backup, Borg, Restic, Velero.

✅ Размещение копий в гео-разных локациях

• Храните хотя бы одну копию off-site (другой регион облака или физический ЦОД).

• Избегайте единой точки отказа.

✅ Шифрование и контроль доступа

• Шифруйте копии на уровне клиента или сервера (AES-256/GCM).

• Разграничьте права доступа к хранилищам бэкапов (IAM-роли, политики).

✅ Управление версионированием и удержанием

• Определите период хранения (например, 7 дней ежедневных, 4 недельных, 12 месячных копий).

• Автоматически удаляйте устаревшие версии.

✅ Тестирование восстановления

• Регулярно запускайте «учения» по восстановлению: проверяйте, что бэкап можно развернуть и данные целы.

• Документируйте шаги и время выполнения.

✅ Мониторинг и алертинг

• Настройте оповещения о неудачных или пропущенных бэкапах (Email, Slack, PagerDuty).

• Собирайте метрики выполнения (длительность, объём данных, ошибки).

✅ Документация и процедуры на случай инцидента

• Опишите пошаговые инструкции для команды: где найти бэкапы, как инициировать восстановление, контактные лица.

• Храните документацию в доступном месте (вики, Confluence, Git).

🐸Библиотека devops'a #буст

🛡 100.000 записей уже утекло и ещё 200.000 на подходе

Когда речь заходит о конфиденциальных данных и секретах, любой DevOps или админ может столкнуться с тем, что информация «просачивается» наружу.

Один из подписчиков недавно спросил:

Бывали ли у вас утечки данных или секретов? И как вы их обнаружили?

Чтобы помочь вам системно подойти к защите, рассмотрим ключевые шаги:

• Ведение централизованного доступа к секретам (Vault, AWS CloudTrail).

• Настройка алертов на аномалии: резкий рост числа запросов, доступ в нерабочие часы.

• Принцип наименьших привилегий: выдача минимальных прав сервисным аккаунтам.

• Автоматическое сканирование репозиториев на «вшитые» пароли и токены.

• Пост-инцидентный анализ (post-mortem) с документированием причин и уроков.

💬 А у вас были случаи утечек? Как вы их обнаружили и какие меры приняли? Поделитесь в комментариях 👇

Небольшая история от админа:

На нашем последнем проекте как-то раз один разработчик по-быстрому затащил в репозиторий приватный токен для тестового API прямо в коде. Никто этого не заметил, пока вечером в прод не пришёл шквал аномальных запросов.

С тех пор у нас в CI работал сканер git-secrets, и больше никто не позволяет себе «быстренько вставить» секреты в код.

P.S. Если хотите задать вопрос сообществу или поделиться историей, заполните нашу гугл-форму.

🐸Библиотека devops'a #междусобойчик

👀 База по Git

12-минутное практическое введение в Git для DevOps-инженеров: основы и приёмы работы с системой контроля версий, начиная с инициализации репозитория и заканчивая публикацией изменений на удалённом сервере.

➡️ Смотреть видео

🐸Библиотека devops'a #буст

🐳 Обновление Docker Desktop

Docker Desktop 4.43 — это обновление, которое стало настоящим подарком для разработчиков, особенно тех, кто работает с AI-моделями и облачными приложениями.

Одним из самых заметных новшеств стал улучшенный Docker Model Runner, который теперь поддерживает более точное управление моделями, а также новые команды для мониторинга и выгрузки моделей.

➡️ Подробнее в блоге компании

🐸Библиотека devops'a #свежак

🐸Библиотека devops'a #развлекалово

📣 Фоновые задачи в Linux: что использовать

В контексте системного администрирования и девопс-практик на Linux возникают споры о том, каким образом лучше планировать и выполнять фоновые задачи.

*️⃣cron — проверенная классика

• Простота настройки через crontab, знакома всем администраторам.

• Минимальные зависимости — работает практически на любом дистрибутиве.

• Ограниченное управление: нет «жёстких» гарантий запуска при простоях системы, сложнее отлавливать ошибки и собирать логи.

⏲️ systemd-таймеры — современный подход

• Единая точка управления сервисами и таймерами, интеграция с journalctl.

• Расширенные возможности: запуска по событиям, автоматический перезапуск, контроль зависимостей.

• Зависимость от systemd — не подходит для систем с альтернативными init-системами.

✏️ Специализированные планировщики (Jenkins, Rundeck, Apache Airflow)

• Гибкость оркестрации сложных рабочих процессов, визуальные интерфейсы, сложные зависимости между задачами.

• Централизованное управление, уведомления, отчётность и интеграции с разными системами.

• Повышенные накладные расходы на установку, настройку и сопровождение сервера планировщика.

💬 Какой инструмент для фоновых задач используете вы? Ждём вас в комментариях👇

🐸Библиотека devops'a #междусобойчик

📰 Еженедельный дайджест

Собрали для вас лучшие материалы прошедшей недели.

— 5 лучших практик при построении, тестировании и упаковке MCP-серверов

В блоге Docker представлены лучшие практики для MCP-серверов: объединяйте несколько API-эндпойнтов, проектируйте обработку ошибок и документацию с расчётом на AI-агентов, и проверяйте взаимодействия через MCP Inspector.

— Управление сломанными подами в k8s

Инженеры Google и RedHat представили обзор часто встречающихся способов отказа hardware-плагинов и driver-модулей в Kubernetes и разбирают их влияние на длительные AI-тренировки и инференс‐задачи

— Динамические секреты для безопасного управления OpenAI API-ключами

HashiCorp представили динамические секреты для Vault, позволяющие приложениям запрашивать свежие OpenAI API-ключи с ограниченным временем жизни и автоматическим отзывать их по истечении TTL

— Docker запускает MCP Catalog

В Docker представили расширенные возможности MCP Catalog. Теперь серверы группируются по кейсам использования, доступны продвинутый поиск по функционалу и новая система проверки образов.

— Подходы к аварийному восстановлению в OpenShift

В Red Hat рассмотрели подходы к аварийному восстановлению stateful ВМ. Также описали использование Kubernetes-нативных инструментов — Advanced Cluster Management, Helm, Kustomize и GitOps-конвейеров.

Всё это для для автоматизации подготовки консистентных групп томов, управления направлением репликации при аварийном переключении и поэтапного рестарта ВМ с учётом приоритетов

— Обновление Docker Desktop 4.43

Не забывайте про буст, это поможет нам в создании контента.

🐸Библиотека devops'a #свежак

Как удалить развертывание Kubernetes с именем «my-deployment»?

👾 — kubectl delete deployment my-deployment
👍 — kubectl remove deployment my-deployment
🥰 — kubectl rm deployment my-deployment
⚡ — kubectl delete deploy my-deployment

Библиотека задач по DevOps

🗒 Топ-вакансий для девопсов за неделю

Devops — удалёнка.

Системный администратор / SRE / DevOps — до 220 000 ₽, удалёнка.

DevOps/SRE/Ops инженер — удалёнка.

Инженер платформы виртуализации — от 220 000 ₽, гибрид (Москва).

DevOps инженер — до 175 000 ₽, гибрид (Москва).

Бустер — Офис у вас дома.

➡️ Еще больше вакансий — в нашем канале Вакансии по DevOps & SRE

🧑‍💻 Как его там.. Удалил подключение

В этой шпаргалке собраны ключевые команды и советы для быстрого старта и работы с SSH.

— Установка соединения

Подключение к удалённому хосту по логину и адресу:

ssh [email protected]

Подключение по нестандартному порту:

ssh -p 2222 [email protected]

Использование конкретного приватного ключа:

ssh -i ~/.ssh/id_rsa_custom [email protected]

— Управление ключами

Генерация пары ключей RSA:

ssh-keygen -t rsa -b 4096 -f ~/.ssh/id_rsa_new

Копирование публичного ключа на сервер:

ssh-copy-id -i ~/.ssh/id_rsa_new.pub [email protected]

Агенты SSH (подгрузка ключей в память):

eval "$(ssh-agent -s)"
ssh-add ~/.ssh/id_rsa_new

— Перенаправление портов

Локальный (client → server):

ssh -L 8080:localhost:80 [email protected]

Удалённый (server → client):

ssh -R 9090:localhost:3000 [email protected]

Динамический (SOCKS-прокси):

ssh -D 1080 [email protected]

Конфигурационный файл ~/.ssh/config

Host prod
    HostName host.example.com
    User deploy
    Port 2222
    IdentityFile ~/.ssh/id_rsa_prod
    ForwardAgent yes

После этого достаточно: ssh prod

— Советы по безопасности:

• Отключите парольную аутентификацию на сервере (PasswordAuthentication no в /etc/ssh/sshd_config).

• Используйте сильные ключи (ed25519 или RSA 4096).

• Ограничьте доступ по IP через файервол или AllowUsers.

🐸Библиотека devops'a #буст

🔝 Как быть желанным сотрудником

Прокачайте профиль на hh с помощью 9 шагов, которые помогут вашему резюме попасть в топ. В статье про то, как подчеркнуть свои сильные стороны и привлечь внимание рекрутеров.

➡️ Шаги для выхода в топ

🐸Библиотека devops'a

🔒 Хранение секретов в Ansible

Незащённые пароли и ключи — главный источник инцидентов. Ansible Vault решает эту проблему «из коробки». Ansible шифрует файлы переменных и бесшовно использует их в ваших плейбуках и ролях.

Ниже разберёмся как это использовать.

1. Запустить ansible-vault create credentials.yml и задать пароль — файл будет сразу зашифрован.

2. Для изменений использовать ansible-vault edit credentials.yml, для просмотра без расшифровки на диск — ansible-vault view credentials.yml.

3. В playbook добавить:

vars_files:
  - credentials.yml

и запускать так:

ansible-playbook playbook.yml --ask-vault-pass
# или
ansible-playbook playbook.yml --vault-password-file ~/.vault_pass.txt

4. При смене пароля команды — ansible-vault rekey credentials.yml.

5. Разделять vault-файлы для разных окружений, хранить пароли Vault в защищённом KMS и в CI использовать --vault-password-file в изолированной среде.

💬 Как вы храните свои секреты?

🐸Библиотека devops'a #буст

Почему айтишники ищут работу

Самое неожиданное: деньги — не на первом месте. 🤑

В новом исследовании Тпрогер и мы — разбираем, как искать работу в IT. А главное — площадки, лайфхаки, как не вляпаться в токсичный коллектив и как оценить уровень подготовки.

➡️ Что внутри исследования:
— топ площадок и лайфхаков для поиска работы в IT
— признаки неадекватной компании — ещё на этапе собеса
— что важно работадателю, когда он хантит айтишника
— гайд по оценке себя на рынке труда

📎 Читаем исследования:

1. Где искать работу и как подготовить себя в IT

2. Каких айтишников не берут на работу и как оценивать себя на рынке труда

P.S. Материал нереально интересный, всем советую к прочтению 😤

🐸Библиотека devops'a #развлекалово

👨‍💻 Промпт для подбора инструментов

Не все новички знают какими инструментами пользуются девопсы. Для таких младших коллег мы подготовили промпт, который подберёт целый список инструментов для конкретной задачи.

Промпт:

You are an expert DevOps Engineer, renowned for your deep understanding of the software development lifecycle and the tools that streamline it. Your goal is to analyze a given DevOps task and recommend a comprehensive list of instruments (tools, technologies, and methodologies) that can be effectively used to accomplish it. For each instrument, provide a brief explanation of its purpose and how it contributes to the overall task.

Here is the challenge you are tasked with: [ВАША ЗАДАЧА]

Админ таким пользуется, чтобы изучать самые крутые инструменты.

🐸Библиотека devops'a #буст

💵 Виртуальные ошибки стоят реальных денег

Когда ты работаете в стартапе, всегда есть ощущение, что «мы справимся». Но когда начинается работа с облачными провайдерами, такие вещи могут привести к большим расходам.

Один из наших подписчиков поделился своей историей:

Работая в стартапе, я столкнулся с неожиданными расходами в DigitalOcean. Как-то раз я заметил, что наш счёт был значительно выше, чем ожидалось, и был в шоке, когда увидел итоговую сумму. Ошибки в конфигурации одного из наших облачных серверов.

💬 Вопрос к тем, кто работал не на своём железе — как это предотвратить? Делитесь своими способами, вдруг это спасёт чей-нибудь кошелёк 👇

P.S. Если хотите задать вопрос сообществу или поделиться историей, заполните нашу гугл-форму.

🐸 Библиотека devops'a #междусобойчик

💻 Максимальная эффективность в tmux

С tmux вы легко разделите экран, настроите несколько окон и быстро переключитесь между задачами. Ниже — 10 «must-know» хоткеев, структурированных для удобства чтения.

1. Создать новое окно:

Ctrl + b,  c

2. Переключение между окнами:

Ctrl + b,  n  /  Ctrl + b,  p

3. Вертикальное разделение окна:

Ctrl + b,  %

4. Горизонтальное разделение окна:

Ctrl + b,  "

5. Переключение между панелями:

Ctrl + b,  o

6. Изменение размера панели:

Ctrl + b,  Alt + ←/→/↑/↓

7. Закрыть текущую панель:

Ctrl + b,  x

8. Список сессий:

Ctrl + b,  s

9/ Переименовать окно:

Ctrl + b,  ,

10. Переименовать сессию:

Ctrl + b,  .

Совет для профи:
Создайте в ~/.tmux.conf собственные алиасы или скрипты автозагрузки сессий, чтобы начинать работу в один команду:

# Пример автозапуска сессии
new-session -d -s work
split-window -h
select-pane -t 1
send-keys 'htop' C-m
attach -t work

🐸 Библиотека devops'a #буст

🔒 Ключевые новинки RHACS

Вышла новая версия Red Hat Advanced Cluster Security. Ниже краткий обзор нововведений.

— Теперь RHACS показывает внешние адреса прямо на Network Graph, чтобы мгновенно видеть подозрительные исходящие соединения.

— Scanner V4 по умолчанию: генерация SBOM, поддержка CSAF VEX и расширённая аналитика «из коробки».

— Keyless-подписи через Sigstore: проверка образов без ключей, через Fulcio, Rekor и OIDC-токены.

— Policy as Code: описание политик в виде Kubernetes CRD и интеграция в GitOps-конвейеры.

➡️ Подробнее об обновлении

🐸 Библиотека devops'a #буст