Ozon Tech приглашает на Platform Meetup.
20 июня инженеры команды Платформы расскажут, как запустили учения по отключению дата-центра.
Что в программе:
⚫️ запуск боевых нагрузочных тестов по продовым рубежам;
⚫️ восстановление порядка в хаосе с волшебными пуллерами и discovery во спасение кластеров;
⚫️ активацию токенов, пробуждение протоколов и новую жизнь системы;
⚫️ Service Mesh и вести об отключении через Warden;
⚫️ единство множества кластеров в славном Федеративном Кубере.
Регистрируйтесь на офлайн/онлайн.
20 июня инженеры команды Платформы расскажут, как запустили учения по отключению дата-центра.
Что в программе:
⚫️ запуск боевых нагрузочных тестов по продовым рубежам;
⚫️ восстановление порядка в хаосе с волшебными пуллерами и discovery во спасение кластеров;
⚫️ активацию токенов, пробуждение протоколов и новую жизнь системы;
⚫️ Service Mesh и вести об отключении через Warden;
⚫️ единство множества кластеров в славном Федеративном Кубере.
Регистрируйтесь на офлайн/онлайн.
digital-periodic-table-of-devsecops.png
615.1 KB
Полезная таблица инструментов DevSecOps
Если ты учишься с нуля, устраняешь пробелы или заменяешь существующие инструменты, начни с Периодической таблицы, чтобы подобрать оптимальные решения для своей DevOps-пайплайна.
#devops #девопс
@devopsitsec
Если ты учишься с нуля, устраняешь пробелы или заменяешь существующие инструменты, начни с Периодической таблицы, чтобы подобрать оптимальные решения для своей DevOps-пайплайна.
#devops #девопс
@devopsitsec
🌪️ Atmos — проект, делающий инфраструктурный код управляемым. Этот инструмент предлагает необычный подход к работе с Terraform, превращая моноолитные конфигурации в модульные компоненты, связанные через YAML-стэки.
Atmos позиционируется как мост между сложностью enterprise-инфраструктуры и простотой локальной разработки, позволяя применять одни и те же практики и в CI/CD, и в командной строке. Инструмент явно рассчитан на тех, кто устал от кастомных bash-скриптов для оркестрации Terraform, но не готов погружаться в полноценные платформы вроде Crossplane.
🤖 GitHub
@devopsitsec
Atmos позиционируется как мост между сложностью enterprise-инфраструктуры и простотой локальной разработки, позволяя применять одни и те же практики и в CI/CD, и в командной строке. Инструмент явно рассчитан на тех, кто устал от кастомных bash-скриптов для оркестрации Terraform, но не готов погружаться в полноценные платформы вроде Crossplane.
🤖 GitHub
@devopsitsec
This media is not supported in your browser
VIEW IN TELEGRAM
.👩💻 Быстрый совет для работы с терминалом в Linux
🌟 А вы знали, что можно мгновенно создать пустой файл, не используя touch?
@devopsitsec
> text.txt@devopsitsec
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ Написание собственного Load Balancer всего за 250 строк кода
В свежей статье на *Beyond the Syntax* Sushant Dhiman показывает, как создать HTTP‑балансировщик нагрузки с нуля, используя всего ~250 строк Go-кода!
👨💻 Что в статье:
- Простой балансировщик, который принимает HTTP-запросы и распределяет их на пул серверов.
- Поддержка алгоритма round‑robin.
- Health‑checks: временно убирает из пула серверы, которые не отвечают.
- Как добавлять и убирать бэкенды динамически.
- Версия с конкурентной обработкой запросов.
🧩 Почему это полезно:
- Понятный, минималистичный код — отлично подойдёт для учебы и практики.
- Пошагово объясняется каждый компонент: от приёма соединений до проверок здоровья серверов.
- Реализация буквально «на коленке», без сложных фреймворков.
🚀 Итог:
Учебный, но практичный пример, как за минимальными усилиями и строками кода получить работующий Layer‑7 балансировщик. Отлично для новичков и тех, кто хочет вникнуть «под капот» инфраструктуры.
🔗 Читайте статью
@DevOPSitsec
В свежей статье на *Beyond the Syntax* Sushant Dhiman показывает, как создать HTTP‑балансировщик нагрузки с нуля, используя всего ~250 строк Go-кода!
👨💻 Что в статье:
- Простой балансировщик, который принимает HTTP-запросы и распределяет их на пул серверов.
- Поддержка алгоритма round‑robin.
- Health‑checks: временно убирает из пула серверы, которые не отвечают.
- Как добавлять и убирать бэкенды динамически.
- Версия с конкурентной обработкой запросов.
🧩 Почему это полезно:
- Понятный, минималистичный код — отлично подойдёт для учебы и практики.
- Пошагово объясняется каждый компонент: от приёма соединений до проверок здоровья серверов.
- Реализация буквально «на коленке», без сложных фреймворков.
🚀 Итог:
Учебный, но практичный пример, как за минимальными усилиями и строками кода получить работующий Layer‑7 балансировщик. Отлично для новичков и тех, кто хочет вникнуть «под капот» инфраструктуры.
🔗 Читайте статью
@DevOPSitsec
🧠 AI для Linux-админов: как ИИ меняет DevOps
Pro.Tecmint запустили серию «AI for Linux» — практическое руководство по применению языковых моделей (ChatGPT, GPT4All, DeepSeek) в администрировании и автоматизации.
📌 Что внутри:
• Интеграция LLM в bash-скрипты
• ShellGPT, TerminalGPT, Aichat, Warp Terminal
• GPT4All и DeepSeek для офлайн-логов
• Fabric AI и настройка Python-окружения
⚙️ Это не просто обзор. Это практика для DevOps и сисадминов, которые хотят автоматизировать рутину и ускорить решения прямо из консоли.
🧩 Важно: материалы доступны только подписчикам Pro.Tecmint.
Полезно, если:
✔️ Ты уже уверенно работаешь с Linux
✔️ Хочешь встроить ИИ в свои shell‑скрипты и пайплайны
✔️ Ищешь инструменты, которые реально ускоряют работу
❌ Не подойдёт новичкам — нужно знать, как работает Linux под капотом.
📌 Читать
@DevOPSitsec
Pro.Tecmint запустили серию «AI for Linux» — практическое руководство по применению языковых моделей (ChatGPT, GPT4All, DeepSeek) в администрировании и автоматизации.
📌 Что внутри:
• Интеграция LLM в bash-скрипты
• ShellGPT, TerminalGPT, Aichat, Warp Terminal
• GPT4All и DeepSeek для офлайн-логов
• Fabric AI и настройка Python-окружения
⚙️ Это не просто обзор. Это практика для DevOps и сисадминов, которые хотят автоматизировать рутину и ускорить решения прямо из консоли.
🧩 Важно: материалы доступны только подписчикам Pro.Tecmint.
Полезно, если:
✔️ Ты уже уверенно работаешь с Linux
✔️ Хочешь встроить ИИ в свои shell‑скрипты и пайплайны
✔️ Ищешь инструменты, которые реально ускоряют работу
❌ Не подойдёт новичкам — нужно знать, как работает Linux под капотом.
📌 Читать
@DevOPSitsec
This media is not supported in your browser
VIEW IN TELEGRAM
📊 Данные не врут. Твои навыки — тоже.
Яндекс Практикум предлагает пройти тест, который объективно оценит, насколько ты готов к работе в BigTech.
Тест состоит из двух частей:
1️⃣ Задачи на хард скиллы — реальные кейсы с собеседований в топовых IT-компаниях;
2️⃣ Задания на софт скиллы — оценивают коммуникацию и командную работу, важные для больших проектов.
По итогу ты получаешь подробный фидбек и шкалу готовности — где ты сейчас и какие навыки стоит прокачать.
В Яндекс Практикуме есть курсы для разработчиков, тестировщиков, DevOps и аналитиков с опытом — чтобы быстро и эффективно подтянуть квалификацию.
Обучение проходит с реальными проектами и живой проверкой от экспертов из Яндекса, Amazon, Ozon и других.
🚀 Не оставайся в догадках — пройди тест и узнай, насколько ты близок и как перейти в BigTech.
Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033, erid: 2VtzqwWcUm4
Яндекс Практикум предлагает пройти тест, который объективно оценит, насколько ты готов к работе в BigTech.
Тест состоит из двух частей:
1️⃣ Задачи на хард скиллы — реальные кейсы с собеседований в топовых IT-компаниях;
2️⃣ Задания на софт скиллы — оценивают коммуникацию и командную работу, важные для больших проектов.
По итогу ты получаешь подробный фидбек и шкалу готовности — где ты сейчас и какие навыки стоит прокачать.
В Яндекс Практикуме есть курсы для разработчиков, тестировщиков, DevOps и аналитиков с опытом — чтобы быстро и эффективно подтянуть квалификацию.
Обучение проходит с реальными проектами и живой проверкой от экспертов из Яндекса, Amazon, Ozon и других.
🚀 Не оставайся в догадках — пройди тест и узнай, насколько ты близок и как перейти в BigTech.
Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033, erid: 2VtzqwWcUm4
Forwarded from Machinelearning
GRESO - это новый алгоритм для эффективного обучения с подкреплением больших языковых моделей, который сокращает вычислительные затраты на 40–60% без потери качества. Его суть в предварительной фильтрации «бесполезных» промптов, тех, что не дают модели обучаться, еще до дорогостоящей стадии rollout (генерации ответов модели).
В основе GRESO — вероятностная модель, предсказывающая, стоит ли прогонять промпт через LLM.
Алгоритм анализирует историю вознаграждений (reward dynamics) за прошлые эпохи обучения: если промпт много раз подряд давал идентичные награды на всех сгенерированных ответах (их называют zero-variance), он, скорее всего, бесполезен и сейчас.
GRESO не блокирует их жестко, он вычисляет вероятность пропуска , опираясь на число идущих подряд «пустых» прогонов и базовую вероятность «исследования». Это позволяет иногда перепроверять сложные промпты, на тот случай, если вдруг модель «доучилась» и теперь они полезны.
Базовая вероятность автоматически настраивается в реальном времени: если доля бесполезных промптов выше целевого значения (например, 25%), GRESO ее снижает, экономя ресурсы; если ниже — повышает, добавляя гибкости. Плюс, алгоритм разделяет промпты на легкие и сложные, применяя к ним разную политику исследования (сложные проверяет чаще, так как они перспективнее для обучения сильной модели).
А чтобы не гонять большие батчи ради пары примеров, размер выборки динамически подстраивается под текущие нужды на основе вычисления из недостающих данных, α — текущей доли пустых промптов и запаса надежности.
Хотя GRESO и экономит сотни часов на H100, делая RL-тюнинг доступнее, у него есть нюансы:
Qwen Math 1.5В или Qwen Math 7b, есть несколько подготовленных скриптов файнтюна в train-scripts.@ai_machinelearning_big_data
#AI #ML #LLM #RL #GRESO
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🧠 DevOps-задача: неочевидное поведение `exec` в Bash
❓ Вопрос: что произойдёт при выполнении следующего скрипта?
🔍 Варианты:
• a) Скрипт выведет обе строки и "заснёт"
• b) Скрипт выведет только первую строку
• c) Скрипт ничего не выведет
• d) Скрипт завершится с ошибкой
💡 Разбор:
Команда
• строка
• строка
• строка
✅ Правильный ответ: b) Скрипт выведет только первую строку
📌 Вывод:
• заменах PID 1 в контейнерах
• написании минималистичных init-оболочек
• утечках в long-running скриптах, если
🛠️ Совет: если вы хотите просто запустить команду — не используйте
❓ Вопрос: что произойдёт при выполнении следующего скрипта?
#!/bin/bash
echo "Start script"
exec sleep 10
echo "This will never be printed"
🔍 Варианты:
• a) Скрипт выведет обе строки и "заснёт"
• b) Скрипт выведет только первую строку
• c) Скрипт ничего не выведет
• d) Скрипт завершится с ошибкой
💡 Разбор:
Команда
exec в Bash заменяет текущий процесс оболочки на указанную команду — в данном случае, sleep 10. Это значит:• строка
echo "Start script" выполнится • строка
exec sleep 10 заменит текущий процесс на sleep • строка
echo "This will never be printed" никогда не будет выполнена, потому что процесс уже заменён✅ Правильный ответ: b) Скрипт выведет только первую строку
📌 Вывод:
exec — мощная, но коварная команда. Она не запускает процесс в фоне, а заменяет текущий, без возврата. Это может использоваться в:• заменах PID 1 в контейнерах
• написании минималистичных init-оболочек
• утечках в long-running скриптах, если
exec используется не по назначению🛠️ Совет: если вы хотите просто запустить команду — не используйте
exec, если только вы намеренно не хотите завершить текущий процесс оболочки.🚨 Предотвращение угрозы всегда дешевле, чем расследование инцидента и устранение его последствий 💥 Но сказать проще, чем сделать.
Давайте разберемся, как и с помощью чего можно избавиться от большого класса инцидентов в кластерах Kubernetes. Приходите 10 июля в 11:00 на вебинар Luntry «Предотвращение Runtime угроз в контейнерах и Kubernetes».
Разберем в прямом эфире:
▶️ Чем отличается детектирование, реагирование и предотвращение
▶️ Что общего и разного у AppArmor, SeLinux, seccomp
▶️ Как NetworkPolicy относится к теме предотвращения
▶️ Что такое Linux Security Module (LSM) и при чем тут eBPF
▶️ Как Luntry помогает предотвращать Runtime угрозы
Кому будет полезно
- AppSec
- DevSecOps
- Platform team
- SOC
Вебинар бесплатный. Чтобы получить напоминание об эфире и запись после него, надо зарегистрироваться.
РЕГИСТРАЦИЯ:
🤖 ТГ-Бот | 🌐 Сайт + почта
#реклама
О рекламодателе
Давайте разберемся, как и с помощью чего можно избавиться от большого класса инцидентов в кластерах Kubernetes. Приходите 10 июля в 11:00 на вебинар Luntry «Предотвращение Runtime угроз в контейнерах и Kubernetes».
Разберем в прямом эфире:
▶️ Чем отличается детектирование, реагирование и предотвращение
▶️ Что общего и разного у AppArmor, SeLinux, seccomp
▶️ Как NetworkPolicy относится к теме предотвращения
▶️ Что такое Linux Security Module (LSM) и при чем тут eBPF
▶️ Как Luntry помогает предотвращать Runtime угрозы
Кому будет полезно
- AppSec
- DevSecOps
- Platform team
- SOC
Вебинар бесплатный. Чтобы получить напоминание об эфире и запись после него, надо зарегистрироваться.
РЕГИСТРАЦИЯ:
🤖 ТГ-Бот | 🌐 Сайт + почта
#реклама
О рекламодателе
🛠️ Awesome DevOps MCP Servers
MCP (Model Context Protocol) — открытый протокол, который позволяет AI-моделям безопасно взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверы. В этом списке собраны лучшие MCP-серверы для DevOps-задач:
• Инфраструктура как код (IaC)
– Terraform:
– Pulumi:
• Управление Kubernetes
–
–
–
• Облачные провайдеры
– AWS:
– Alibaba Cloud:
• Управление проектами и тикетами
– Freshdesk:
– Jira:
– Topdesk:
…и многое другое: CI/CD, сервисы мониторинга, управление версиями и безопасность.
🔗 Изучайте и расширяйте:
https://github.com/rohitg00/awesome-devops-mcp-servers
MCP (Model Context Protocol) — открытый протокол, который позволяет AI-моделям безопасно взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверы. В этом списке собраны лучшие MCP-серверы для DevOps-задач:
• Инфраструктура как код (IaC)
– Terraform:
dulltz/mcp-server-hcp-terraform, jashkahar/Terraform-MCP-Server, nwiizo/tfmcp – Pulumi:
pulumi/mcp-server • Управление Kubernetes
–
rohitg00/kubectl-mcp-server — natural language доступ к kubectl, helm, istioctl в безопасном Docker –
manusa/kubernetes-mcp-server — поддержка CRUD для любых ресурсов и OpenShift –
portainer/portainer-mcp — управление контейнерами и мониторинг через Portainer • Облачные провайдеры
– AWS:
awslabs/mcp (официальный), alexei-led/aws-mcp-server – Alibaba Cloud:
aliyun/alibaba-cloud-ops-mcp-server • Управление проектами и тикетами
– Freshdesk:
effytech/freshdesk-mcp – Jira:
nguyenvanduocit/jira-mcp – Topdesk:
dbsanfte/topdesk-mcp …и многое другое: CI/CD, сервисы мониторинга, управление версиями и безопасность.
🔗 Изучайте и расширяйте:
https://github.com/rohitg00/awesome-devops-mcp-servers
Как эффективно работать с проектной документацией?
Ответ знает команда Platform V Works – платформенного решения от СберТеха для ИТ-разработки.
На бесплатном вебинаре 27 июня в 11:00 спикер СберТеха расскажет, как решение Platform V Works::Wiki помогает управлять требованиями, технической и бизнес-документацией.
Вы узнаете:
- Как быстро формировать документы с мощными инструментами форматирования и макросов
- Как настраивать разграничение доступа для пользователей
- Как отслеживать изменения в версиях документов
- Как ускорять работу с помощью шаблонов
Команда СберТеха также ответит на ваши вопросы и поделится планами развития продукта.
Регистрируйтесь – вас ждет много интересного!
Ответ знает команда Platform V Works – платформенного решения от СберТеха для ИТ-разработки.
На бесплатном вебинаре 27 июня в 11:00 спикер СберТеха расскажет, как решение Platform V Works::Wiki помогает управлять требованиями, технической и бизнес-документацией.
Вы узнаете:
- Как быстро формировать документы с мощными инструментами форматирования и макросов
- Как настраивать разграничение доступа для пользователей
- Как отслеживать изменения в версиях документов
- Как ускорять работу с помощью шаблонов
Команда СберТеха также ответит на ваши вопросы и поделится планами развития продукта.
Регистрируйтесь – вас ждет много интересного!
WebVM от Leaning Technologies — браузерная виртуальная Linux‑машина, полностью клиентская (HTML5/WebAssembly)!
🚀 Возможности
• 🗄️ Запускает неизменённые x86‑бинарники (например, Debian‑дистрибутив) прямо в браузере
• Все выполняется локально — без серверной поддержки
• WebAssembly‑виртуализация через CheerpX: JIT‑компиляция x86 в Wasm + syscalls‑эмулятор
📦 Что включено
• Поддержка полноценного Debian с GCC, Python, Node.js и другими dev‑инструментами
• UI‑окружение с Xorg и i3 (с версии 2.0 появилось графическое рабочее место)
• Постоянное хранилище через IndexedDB + on‑demand загрузка диск‑блоков через CloudFlare Worker
• Сетевая интеграция через Tailscale VPN поверх WebSocket
🔧 Как запустить
1. Форкнуть репозиторий и активировать GitHub Pages
2. CI‑workflow автоматически развернёт вашу VM
3. Также можно локально: скачать ext2‑образ Debian, склонировать репо и запустить dev‑режим
🎯 Для кого это
• Разработчики, которым нужно быстрое тестовое окружение на любой машине
• Образовательные платформы, желающие дать студентам доступ к Linux‑инструментарию
• Исследователи WebAssembly/виртуализации
• Все, кто хочет запускать настоящий Linux без установки или докеров
💡 Почему это круто
• 🧩 Нет backend‑а — всё работает прямо в браузере и безопасно (браузерный sandbox)
• ✅ Подходит даже для мобильных устройств и сложных GUI‑приложений
• ⚡ Быстрая загрузка и нулевой хостинг‑cost
⚙️ Как начать
git clone https://github.com/leaningtech/webvm.git
cd webvm
# (опционально) скачайте Debian‑образ из релизов
# настройте GitHub Pages
▪ Github
Please open Telegram to view this post
VIEW IN TELEGRAM
🔐Мультикластерность в действии: как управлять безопасностью Kubernetes из одной точки!
🔥 Регистрируйтесь на вебинар 1 июля в 14:00 мск и узнайте, как PT Container Security обеспечивает централизованный контроль и защиту всех кластеров Kubernetes.
🔍Эксперты расскажут, как мониторить и защищать инфраструктуру из единой панели, экономить ресурсы и оптимизировать затраты, а также быстро реагировать на инциденты.
В программе:
🔴 Живое демо
🔴 Разбор сценариев
🔴 Новый графический установщик для удобного подключения кластеров.
Регистрируйтесь и присоединяйтесь к вебинару 1 июля в 14:00 МСК
*Kubernetes — система оркестрации контейнеров
🔥 Регистрируйтесь на вебинар 1 июля в 14:00 мск и узнайте, как PT Container Security обеспечивает централизованный контроль и защиту всех кластеров Kubernetes.
🔍Эксперты расскажут, как мониторить и защищать инфраструктуру из единой панели, экономить ресурсы и оптимизировать затраты, а также быстро реагировать на инциденты.
В программе:
Регистрируйтесь и присоединяйтесь к вебинару 1 июля в 14:00 МСК
*Kubernetes — система оркестрации контейнеров
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Задача для продвинутых DevOps-инженеров: «Миграция Postgres в облако без остановки сервиса»
Представьте продакшн-платформу:
• Kubernetes-кластер (v1.28) в двух регионах
• Микросервисы на Go и Python, общаются по gRPC
• StatefulSet с PostgreSQL 13 (self-hosted, SSD RAID-10)
• Трафик 7000 RPS, SLA = 99.95 %, окно простоя ≤ 30 сек
Цель
Перенести базу в управляемый Postgres-кластер (например, AWS Aurora) так, чтобы:
• API не теряли запросы и транзакции
• Метрики и алерты оставались валидными
• CI/CD остался GitOps-основанным (Argo CD)
• Секреты не хранились в манифестах
Условия и «подводные камни»
• В исходном Postgres включён logical replication; 2 тб данных, 3 млн TPS в pgbouncer-пуле
• Используется pgcrypto → нельзя менять шифрование на лету
• Приложения имеют hard-coded connection string в ConfigMap
• Читать из реплик можно, писать нужно только в primary
• Регион А может потерять связь с S3 на 5 минут в любой момент
• Лимит: 1 час на full-rollback в случае аварии
Что нужно спроектировать
1. План миграции с отметками T-0/T-1/T-2 (pre-cutover, dual-write, switchover)
2. Полностью идемпотентный GitOps-pipeline (ArgoCD-App-of-Apps)
3. Пошаговое обновление Secrets (Vault → CSI driver) без ревизии pod’ов
4. Canary-механизм трафика (Istio 1.22) + прометей-алерты уровня query latency p95
5. Rollback-стратегию, если write-amplification > 1.5× на новой БД
6. Планирование maintenance-окна с блокировкой DDL и feature-флагами
Решение (пояснение ключевых шагов)
*Логическая реплика и dual-write*
• Создаём Aurora как read-replica Postgres, подключаем
• В Kubernetes добавляем Sidecar-proxy (envoy) → умеет писать одновременно в old и new primary.
• Включаем dual-write только для команд
*Секреты без простоя*
• Секреты переносятся из ConfigMap в Vault KV2.
• Deploy CSI-driver и auto-injector; переменные окружения читают через projected volume.
• Патчинг Deployments через
*Canary и метрики*
• Istio DestinationRule + VirtualService: трафик
• Прометей-rule:
• Отдельный alert на
*Cutover*
1. T-0: включён dual-write, read-only на реплики.
2. T-1: проверяем чек-суммы через
3. T-2: Istio маршрутизирует 100 % на новую primary, выключаем dual-write.
4. Разморозка DDL через Liquibase-pipeline.
*Rollback*
• Переключаем Istio обратно на старый primary (мгновенно)
• Опционально реплицируем дельту назад через
• Откатываем Secrets версией Vault с «previous revision» (Vault KV2)
*GitOps-pipeline (ArgoCD)*
• Весь cutover хранится в migrate-prod ветке → можно мгновенно вернуться на main.
Фиксация SLA
• Приложения читают тайм-ауты из ConfigMap, а не код. Перед миграцией снижаем тайм-ауты connect_timeout=2s.
• Версионируем Helm-charts микросервисов: appVersion: 2024.06-cutover.
Итог
При правильной настройке dual-write и canary-трафика фактический простой уложится в 5-10 секунд (только время Istio-промотирования) с гарантированным откатом ≤ 1 час. Это упражнение проверяет глубокие знания Kubernetes, GitOps, сетевого слоя и Postgres-репликации.
Представьте продакшн-платформу:
• Kubernetes-кластер (v1.28) в двух регионах
• Микросервисы на Go и Python, общаются по gRPC
• StatefulSet с PostgreSQL 13 (self-hosted, SSD RAID-10)
• Трафик 7000 RPS, SLA = 99.95 %, окно простоя ≤ 30 сек
Цель
Перенести базу в управляемый Postgres-кластер (например, AWS Aurora) так, чтобы:
• API не теряли запросы и транзакции
• Метрики и алерты оставались валидными
• CI/CD остался GitOps-основанным (Argo CD)
• Секреты не хранились в манифестах
Условия и «подводные камни»
• В исходном Postgres включён logical replication; 2 тб данных, 3 млн TPS в pgbouncer-пуле
• Используется pgcrypto → нельзя менять шифрование на лету
• Приложения имеют hard-coded connection string в ConfigMap
• Читать из реплик можно, писать нужно только в primary
• Регион А может потерять связь с S3 на 5 минут в любой момент
• Лимит: 1 час на full-rollback в случае аварии
Что нужно спроектировать
1. План миграции с отметками T-0/T-1/T-2 (pre-cutover, dual-write, switchover)
2. Полностью идемпотентный GitOps-pipeline (ArgoCD-App-of-Apps)
3. Пошаговое обновление Secrets (Vault → CSI driver) без ревизии pod’ов
4. Canary-механизм трафика (Istio 1.22) + прометей-алерты уровня query latency p95
5. Rollback-стратегию, если write-amplification > 1.5× на новой БД
6. Планирование maintenance-окна с блокировкой DDL и feature-флагами
Решение (пояснение ключевых шагов)
*Логическая реплика и dual-write*
• Создаём Aurora как read-replica Postgres, подключаем
pglogical для lorepl. • В Kubernetes добавляем Sidecar-proxy (envoy) → умеет писать одновременно в old и new primary.
• Включаем dual-write только для команд
INSERT/UPDATE/DELETE; SELECT всё ещё смотрит на старую primary.*Секреты без простоя*
• Секреты переносятся из ConfigMap в Vault KV2.
• Deploy CSI-driver и auto-injector; переменные окружения читают через projected volume.
• Патчинг Deployments через
kubectl patch --type strategic не перезапускает pod’ы (без изменения podSpec.h`) — остаёмся в том же ReplicaSet.*Canary и метрики*
• Istio DestinationRule + VirtualService: трафик
canary: 10 %, stable: 90 %. • Прометей-rule:
rate(http_requests_total{status!~"5..",destination_service="canary"}[5m]) < threshold. • Отдельный alert на
pg_stat_replication replay_lag > 1 сек.*Cutover*
1. T-0: включён dual-write, read-only на реплики.
2. T-1: проверяем чек-суммы через
pg_dump --schema-only и pg_comparator. 3. T-2: Istio маршрутизирует 100 % на новую primary, выключаем dual-write.
4. Разморозка DDL через Liquibase-pipeline.
*Rollback*
• Переключаем Istio обратно на старый primary (мгновенно)
• Опционально реплицируем дельту назад через
wal2json → old primary • Откатываем Secrets версией Vault с «previous revision» (Vault KV2)
*GitOps-pipeline (ArgoCD)*
apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
name: postgres-cutover
spec:
syncPolicy:
automated:
selfHeal: true
prune: true
retry:
limit: 4
source:
repoURL: [email protected]:corp/platform-deploy
path: k8s/postgres/aurora
targetRevision: migrate-prod
destination:
namespace: database
server: https://kubernetes.default.svc
• Весь cutover хранится в migrate-prod ветке → можно мгновенно вернуться на main.
Фиксация SLA
• Приложения читают тайм-ауты из ConfigMap, а не код. Перед миграцией снижаем тайм-ауты connect_timeout=2s.
• Версионируем Helm-charts микросервисов: appVersion: 2024.06-cutover.
Итог
При правильной настройке dual-write и canary-трафика фактический простой уложится в 5-10 секунд (только время Istio-промотирования) с гарантированным откатом ≤ 1 час. Это упражнение проверяет глубокие знания Kubernetes, GitOps, сетевого слоя и Postgres-репликации.
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
OpenAI запустила Search Connectors для ChatGPT Pro и Team, функцию, которая напрямую связывает облачные хранилища (Google Drive, Dropbox и OneDrive) с интерфейсом чата. Теперь пользователи могут искать, анализировать и обобщать документы, не загружая их вручную.
Лимит файлов на проект для Pro-подписчиков вырос с 20 до 40, а поддержка охватывает 12 сервисов, включая GitHub, Gmail и Outlook. Пока новинка доступна за пределами ЕС, Великобритании и Швейцарии.
Open AI в сети Х
Imagen 4, усовершенствованные модели генерации изображений по текстовым запросам, стали доступны в двух версиях: базовая Imagen 4 (4 цента за изображение) для повседневных задач и Imagen 4 Ultra (6 центов) с повышенной детализацией и точностью исполнения инструкций. Обе модели доступны в Gemini API для платных пользователей, а также в ограниченном бесплатном тестировании через Google AI Studio.
Разработчики обещают улучшенное отображение текста на картинках и расширение тарифных планов в ближайшие недели. Все сгенерированные изображения получат скрытый цифровой водяной знак SynthID.
developers.googleblog.com
HPE и NVIDIA анонсировали совместные решения для создания «фабрик искусственного интеллекта» на базе модульной инфраструктуры. В линейку вошли серверы HPE ProLiant DL380a Gen12 с GPU NVIDIA RTX PRO 6000 Blackwell, которые предлагают универсальную платформу для генеративного и промышленного ИИ.
Также был представлен HPE Private Cloud AI — готовое решение для быстрого внедрения ИИ, совместимое с фреймворком NVIDIA Enterprise AI Factory. Для финансового сектора планируется тестирование агентного ИИ с Accenture, а 26 новых партнеров расширят экосистему HPE, добавив 70 преднастроенных сценариев: от детекции мошенничества до кибербезопасности. Решения доступны для заказа, а система HPE Compute XD690 с GPU Blackwell Ultra начнет отгружаться в октябре.
blogs.nvidia.com
AlphaGenome — нейросеть, которая предсказывает, как мутации в ДНК влияют на регуляцию генов. Модель обрабатывает участки длиной до миллиона пар оснований, анализируя их на уровне отдельных «букв» и оценивая тысячи молекулярных свойств: активность генов, сплайсинг РНК, доступность участков ДНК.
AlphaGenome сочетает сверточные слои для поиска коротких паттернов и трансформеры для анализа длинных последовательностей. Одна из ключевых особенностей - точное моделирование сплайс-сайтов, важное для изучения редких заболеваний.
Модель превзошла аналоги в 22 из 24 тестов, предсказывая как структуру ДНК, так и эффекты вариантов. Доступ к AlphaGenome открыт через API для некоммерческих проектов.
deepmind.google
Группа исследователей из Сингапура и Китая представила LongWriter-Zero, модель, которая генерирует тексты длиной более 10 тысяч слов, обучаясь только через RL, без использования синтетических данных. Модель опирается на три специализированных «наградных» алгоритма, оценивающих структуру, качество и длину текста, а также уникальный метод «усреднения преимущества», который балансирует приоритеты между ними.
LongWriter-Zero использует «промты-размышления»: перед написанием модель планирует структуру текста, улучшая его связность. Бенчмарки показали рост эффективности с 700 до 1200 поинтов Elo. Однако у модели есть слабые места: она склонна к повторам и переиспользованию слов, которые система поощряет в процессе обучения.
Модель и датасет доступны на Hugging Face.
huggingface.co
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
CI/CD — сердце современного деплоя. Но это ещё и точка входа для атак, которые способны нанести серьёзный урон организации. Об этом рассказали в статье.
Сценарии компрометации сегодня:
⏺️ внедрение бэкдоров через артефакты;
⏺️ утечка секретов из логов;
⏺️ подмена образов;
⏺️ lateral movement по всей облачной инфраструктуре.
А теперь представьте, что всё это происходит не в вашем pet-проекте, а в prod-окружении нагруженного сервиса, которым пользуются тысячи пользователей каждый день.
В новой статье Алексей Федулаев и Андрей Моисеев из команды Cloud Native Security в MWS Cloud Platform — разбирают реальные векторы атак на CI/CD: от PPE до cache poisoning. И главное — показывают, как им противостоять.
Разложено по схемам, сценариям и потенциальным уязвимостям, которые легко упустить.
🔗 Читать статью
Сценарии компрометации сегодня:
А теперь представьте, что всё это происходит не в вашем pet-проекте, а в prod-окружении нагруженного сервиса, которым пользуются тысячи пользователей каждый день.
В новой статье Алексей Федулаев и Андрей Моисеев из команды Cloud Native Security в MWS Cloud Platform — разбирают реальные векторы атак на CI/CD: от PPE до cache poisoning. И главное — показывают, как им противостоять.
Разложено по схемам, сценариям и потенциальным уязвимостям, которые легко упустить.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
📕 На Reddit стал популярен лучший интерактивный учебник по алгоритмам Computer Science — это самая эпичная книга от энтузиаста на 680 страниц!
• целых 22 огромных главы — охватывают всё от массивов до продвинутых алгоритмов на графах.
• 300 интерактивных визуализаций — для наглядного объяснения всех концепций.
• 250 фрагментов кода — в каждом есть подробный гайд по решению.
• Встроенный интерпретатор Python — позволяет редактировать и запускать код для практики.
• Это не электронная книга, а целое приложение с интерактивными страницами.
Поддерживаются MacOS 11+ и Windows 10+. Учебник стоит $35 (автор дарит промокод 20% SIDEPRJ и скидки для студентов), но для всех желающих доступна бесплатная (!) глава.
Для всех, кто изучает программирование — тут.
• целых 22 огромных главы — охватывают всё от массивов до продвинутых алгоритмов на графах.
• 300 интерактивных визуализаций — для наглядного объяснения всех концепций.
• 250 фрагментов кода — в каждом есть подробный гайд по решению.
• Встроенный интерпретатор Python — позволяет редактировать и запускать код для практики.
• Это не электронная книга, а целое приложение с интерактивными страницами.
Поддерживаются MacOS 11+ и Windows 10+. Учебник стоит $35 (автор дарит промокод 20% SIDEPRJ и скидки для студентов), но для всех желающих доступна бесплатная (!) глава.
Для всех, кто изучает программирование — тут.