📦 Fluent Bit теряет логи в Kubernetes? Вот как это пофиксили в ArteraAI

Команда ArteraAI столкнулась с загадочным исчезновением логов: job успешно выполнялся, Fluent Bit читал логи… но они не доходили до DataDog. Почему?

🔍 Оказалось, что Fluent Bit не справлялся с нагрузкой:
- логи буферизуются в памяти (по 2МБ чанки),
- при переполнении mem_buf_limit входные плагины ставятся на паузу,
- данные теряются, особенно при всплесках активности.

💡 Решение: включили файловую буферизацию.


Теперь логи сначала пишутся в память, потом на диск — никаких пауз и потерь.

‼️ Но даже после фикса… логи не находились в DataDog. Почему?

🔥 Проблема была в отсутствии Kubernetes-метаданных. Fluent Bit не всегда корректно добавлял поля pod, namespace, cluster, и логи оказывались в слепой зоне мониторинга.

📌 Вывод:
1. Следите за backpressure (`paused (mem buf overlimit)`).
2. Включайте файловую буферизацию при высоких нагрузках.
3. Проверяйте, что Kubernetes Filter добавляет все нужные метаданные.

Подробности: https://arteraai.medium.com/optimizing-kubernetes-log-aggregation-tackling-fluent-bit-buffering-and-backpressure-challenges-fb3129dc5031

@DevOPSitsec

Первый открытый Call for Papers на IT Elements 2025 — last call!

10–11 сентября ИТ-сообщество традиционно соберется на большой осенней конференции для тех, кто делает ИТ в России. Готовьтесь к новым трекам, новым спикерам и новой грандиозной площадке!

Если у вас есть сильный кейс, нестандартный опыт или нешаблонное решение — пришло время предложить свой доклад. Главное требование — экспертность и новизна темы.

Рассматриваются доклады по ключевым направлениям:
▪️ИТ-инфраструктура
▪️Сетевые решения
▪️Кибербезопасность
▪️Прикладные решения, AI и ML

Станьте главным элементом IT Elements 2025!

Узнать больше и подать заявку можно до 20 июля.

Как перенести прод в Kubernetes on Bare Metal?
24 июля | 12:00

Selectel проведет вебинар для DevOps-инженеров, системных администраторов и техлидов.

Приходите, чтобы узнать:
- про новые возможности сервиса Managed Kubernetes на выделенных серверах,
- как сократить расходы на 35% и повысить производительность сервисов.

Вебинар бесплатный, достаточно только зарегистрироваться: https://slc.tl/d9rta

Чтобы не пропустить вебинар и узнавать о других мероприятиях, воркшопах и бесплатных курсах Selectel, подписывайтесь на @selectel_events

Реклама, АО «Селектел», ИНН: 7810962785, ERID: 2VtzqxS3Nxf

🎓 Комьюнити Cursor собрало огромную библиотеку гайдов и инструментов для вайбкодеров. Тут есть всё, чтобы работать с ИИ было проще и эффективнее:

— Готовые промты под разные задачи
— MCP-серверы для общения с внешними приложениями
— И самое крутое: генератор уникальных промт-правил под ваш проект

Налетай — всё это бесплатно и уже доступно.
🔗 https://cursor.directory/

Знакомьтесь: Nova Special Edition, первая полнофункциональная платформа контейнеризации с сертификатом ФСТЭК

ИТ-компания Orion soft выпустила новую редакцию платформы контейнеризации Nova, соответствующую 4 уровню доверия. Это первый оркестратор контейнеров в реестре ФСТЭК, сохраняющий в себе все функции базовой редакции. 

15 июля в 11:00 специалисты Orion soft проведут вебинар, на котором расскажут все о Nova Special Edition:

—  Сценарии использования для АСУ ТП, ГИС, КИИ и компаний, обеспечивающих безопасность персональных данных
— Ключевые функции безопасности Nova Special Edition
— Встроенные модули для обеспечения защиты: StarVault, NeuVector и др.
— Как мы перестраивали процессы разработки под требования ФСТЭК
— Планы по развитию сертифицированной редакции

📌Регистрация

Кстати, недавно Nova Container Platform возглавила рейтинг «Информационная безопасность платформ Kubernetes 2025»

🧠 GitHub раскрывает планы по следующей эволюции Copilot — от помощника к полноценному агенту.

🔗 В новом посте GitHub делится видением agentic workflows — когда Copilot становится не просто ассистентом, а полноценным участником команды, который умеет:
• понимать задачу целиком,
• планировать шаги,
• писать и менять код,
• создавать PR и даже инициировать обсуждение.

📌 Что важно:
— Copilot теперь работает в рамках цепочек действий (tasks → plans → code)
— Появляются memory и context-aware агенты
— Идея — не просто "автодополнение", а делегирование работы: от заведения ишью до его закрытия
— Акцент на безопасную, контролируемую автоматизацию

⚙️ Пример: вы создаёте issue → Copilot планирует, как решить → предлагает PR → вы ревьюите и мёрджите.

🛠 Уже сейчас GitHub тестирует:
- Copilot Workspace (автогенерация изменений по issue)
- GitHub Agents (task‑oriented агенты для DevOps и beyond)

📎 Читайте подробнее:

Copilot перестаёт быть просто AI‑другом в редакторе — он становится сотрудником, который понимает задачи, работает в контексте проекта и помогает двигать код вперёд.

Как узнать, кто последний редактировал любой файл в Linux — даже если это не git

Оказывается, можно выяснить, какой пользователь последний модифицировал файл, даже если это обычная файловая система и никакой системы контроля версий нет.
Секрет — в auditd, который отслеживает события уровня ядра.

Вот как включить отслеживание изменений для конкретного файла:

# Включаем слежение за изменениями файла
auditctl -w /etc/nginx/nginx.conf -p w -k nginx_watch

# Потом можно посмотреть, кто и когда его правил:
ausearch -k nginx_watch

🧠 Кто редактировал файл — точно и с логами

📌 Работает с любыми файлами: конфиги, скрипты, ключи
📌 Видно: кто, когда, чем, с каким PID
📌 Отлично для отладки, расследований, CI/CD и безопасных систем

Идеальный инструмент, если "что-то сломалось, но никто ничего не трогал.

Видео

@linuxkalii

🧠 Linux-хак: перезапуск процесса без остановки PID

Представь, у тебя работает демон, и ты хочешь обновить его бинарник *без остановки процесса* и *без потери PID*. Такое возможно — с помощью магии `exec`.

🔥 Трюк: заменить текущий процесс на новый:

exec /path/to/new/binary --with --args

📌 Что происходит?

- Команда exec заменяет текущий процесс новым — без создания нового PID
- Все открытые файловые дескрипторы и сокеты сохраняются
- Работает, только если у тебя уже есть нужные права (например, через systemd или под `sudo`)

🛠 Пример в бою:

Ты перекомпилировал новый nginx в /usr/local/bin/nginx-new, и хочешь подменить старый:

pidof nginx  # допустим, PID = 1234
sudo nsenter -t 1234 -m -u -i -n -p -- bash
cd /usr/local/bin
exec ./nginx-new -c /etc/nginx/nginx.conf

📌 Готово! Новый бинарь работает в том же PID, открытые сокеты и дескрипторы остались на месте.

📦 PcapPlusPlus — мощный C++ инструмент для работы с сетевыми пакетами. Этот мультиплатформенный проект предлагает удобные C++ обёртки для популярных движков захвата трафика — от классических libpcap/WinPcap до высокопроизводительных DPDK и PF_RING.

Библиотека поддерживает огромное количество протоколов: от базовых Ethernet и IP до специализированных вроде WireGuard или S7Comm. При работе с пакетами, помимо стандартного парсинга в проекте доступны функции сборки TCP-сессий с учётом ретрансмитов и обработки фрагментации IP. Для разработчиков приложений под Linux ценна интеграция с eBPF AF_XDP — это позволяет достичь линейной скорости обработки.

🤖 GitHub

@devopsitsec