🌪️ Atmos — проект, делающий инфраструктурный код управляемым. Этот инструмент предлагает необычный подход к работе с Terraform, превращая моноолитные конфигурации в модульные компоненты, связанные через YAML-стэки.
Atmos позиционируется как мост между сложностью enterprise-инфраструктуры и простотой локальной разработки, позволяя применять одни и те же практики и в CI/CD, и в командной строке. Инструмент явно рассчитан на тех, кто устал от кастомных bash-скриптов для оркестрации Terraform, но не готов погружаться в полноценные платформы вроде Crossplane.
🤖 GitHub
@devopsitsec
Atmos позиционируется как мост между сложностью enterprise-инфраструктуры и простотой локальной разработки, позволяя применять одни и те же практики и в CI/CD, и в командной строке. Инструмент явно рассчитан на тех, кто устал от кастомных bash-скриптов для оркестрации Terraform, но не готов погружаться в полноценные платформы вроде Crossplane.
🤖 GitHub
@devopsitsec
This media is not supported in your browser
VIEW IN TELEGRAM
.👩💻 Быстрый совет для работы с терминалом в Linux
🌟 А вы знали, что можно мгновенно создать пустой файл, не используя touch?
@devopsitsec
> text.txt@devopsitsec
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ Написание собственного Load Balancer всего за 250 строк кода
В свежей статье на *Beyond the Syntax* Sushant Dhiman показывает, как создать HTTP‑балансировщик нагрузки с нуля, используя всего ~250 строк Go-кода!
👨💻 Что в статье:
- Простой балансировщик, который принимает HTTP-запросы и распределяет их на пул серверов.
- Поддержка алгоритма round‑robin.
- Health‑checks: временно убирает из пула серверы, которые не отвечают.
- Как добавлять и убирать бэкенды динамически.
- Версия с конкурентной обработкой запросов.
🧩 Почему это полезно:
- Понятный, минималистичный код — отлично подойдёт для учебы и практики.
- Пошагово объясняется каждый компонент: от приёма соединений до проверок здоровья серверов.
- Реализация буквально «на коленке», без сложных фреймворков.
🚀 Итог:
Учебный, но практичный пример, как за минимальными усилиями и строками кода получить работующий Layer‑7 балансировщик. Отлично для новичков и тех, кто хочет вникнуть «под капот» инфраструктуры.
🔗 Читайте статью
@DevOPSitsec
В свежей статье на *Beyond the Syntax* Sushant Dhiman показывает, как создать HTTP‑балансировщик нагрузки с нуля, используя всего ~250 строк Go-кода!
👨💻 Что в статье:
- Простой балансировщик, который принимает HTTP-запросы и распределяет их на пул серверов.
- Поддержка алгоритма round‑robin.
- Health‑checks: временно убирает из пула серверы, которые не отвечают.
- Как добавлять и убирать бэкенды динамически.
- Версия с конкурентной обработкой запросов.
🧩 Почему это полезно:
- Понятный, минималистичный код — отлично подойдёт для учебы и практики.
- Пошагово объясняется каждый компонент: от приёма соединений до проверок здоровья серверов.
- Реализация буквально «на коленке», без сложных фреймворков.
🚀 Итог:
Учебный, но практичный пример, как за минимальными усилиями и строками кода получить работующий Layer‑7 балансировщик. Отлично для новичков и тех, кто хочет вникнуть «под капот» инфраструктуры.
🔗 Читайте статью
@DevOPSitsec
🧠 AI для Linux-админов: как ИИ меняет DevOps
Pro.Tecmint запустили серию «AI for Linux» — практическое руководство по применению языковых моделей (ChatGPT, GPT4All, DeepSeek) в администрировании и автоматизации.
📌 Что внутри:
• Интеграция LLM в bash-скрипты
• ShellGPT, TerminalGPT, Aichat, Warp Terminal
• GPT4All и DeepSeek для офлайн-логов
• Fabric AI и настройка Python-окружения
⚙️ Это не просто обзор. Это практика для DevOps и сисадминов, которые хотят автоматизировать рутину и ускорить решения прямо из консоли.
🧩 Важно: материалы доступны только подписчикам Pro.Tecmint.
Полезно, если:
✔️ Ты уже уверенно работаешь с Linux
✔️ Хочешь встроить ИИ в свои shell‑скрипты и пайплайны
✔️ Ищешь инструменты, которые реально ускоряют работу
❌ Не подойдёт новичкам — нужно знать, как работает Linux под капотом.
📌 Читать
@DevOPSitsec
Pro.Tecmint запустили серию «AI for Linux» — практическое руководство по применению языковых моделей (ChatGPT, GPT4All, DeepSeek) в администрировании и автоматизации.
📌 Что внутри:
• Интеграция LLM в bash-скрипты
• ShellGPT, TerminalGPT, Aichat, Warp Terminal
• GPT4All и DeepSeek для офлайн-логов
• Fabric AI и настройка Python-окружения
⚙️ Это не просто обзор. Это практика для DevOps и сисадминов, которые хотят автоматизировать рутину и ускорить решения прямо из консоли.
🧩 Важно: материалы доступны только подписчикам Pro.Tecmint.
Полезно, если:
✔️ Ты уже уверенно работаешь с Linux
✔️ Хочешь встроить ИИ в свои shell‑скрипты и пайплайны
✔️ Ищешь инструменты, которые реально ускоряют работу
❌ Не подойдёт новичкам — нужно знать, как работает Linux под капотом.
📌 Читать
@DevOPSitsec
This media is not supported in your browser
VIEW IN TELEGRAM
📊 Данные не врут. Твои навыки — тоже.
Яндекс Практикум предлагает пройти тест, который объективно оценит, насколько ты готов к работе в BigTech.
Тест состоит из двух частей:
1️⃣ Задачи на хард скиллы — реальные кейсы с собеседований в топовых IT-компаниях;
2️⃣ Задания на софт скиллы — оценивают коммуникацию и командную работу, важные для больших проектов.
По итогу ты получаешь подробный фидбек и шкалу готовности — где ты сейчас и какие навыки стоит прокачать.
В Яндекс Практикуме есть курсы для разработчиков, тестировщиков, DevOps и аналитиков с опытом — чтобы быстро и эффективно подтянуть квалификацию.
Обучение проходит с реальными проектами и живой проверкой от экспертов из Яндекса, Amazon, Ozon и других.
🚀 Не оставайся в догадках — пройди тест и узнай, насколько ты близок и как перейти в BigTech.
Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033, erid: 2VtzqwWcUm4
Яндекс Практикум предлагает пройти тест, который объективно оценит, насколько ты готов к работе в BigTech.
Тест состоит из двух частей:
1️⃣ Задачи на хард скиллы — реальные кейсы с собеседований в топовых IT-компаниях;
2️⃣ Задания на софт скиллы — оценивают коммуникацию и командную работу, важные для больших проектов.
По итогу ты получаешь подробный фидбек и шкалу готовности — где ты сейчас и какие навыки стоит прокачать.
В Яндекс Практикуме есть курсы для разработчиков, тестировщиков, DevOps и аналитиков с опытом — чтобы быстро и эффективно подтянуть квалификацию.
Обучение проходит с реальными проектами и живой проверкой от экспертов из Яндекса, Amazon, Ozon и других.
🚀 Не оставайся в догадках — пройди тест и узнай, насколько ты близок и как перейти в BigTech.
Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033, erid: 2VtzqwWcUm4
Forwarded from Machinelearning
GRESO - это новый алгоритм для эффективного обучения с подкреплением больших языковых моделей, который сокращает вычислительные затраты на 40–60% без потери качества. Его суть в предварительной фильтрации «бесполезных» промптов, тех, что не дают модели обучаться, еще до дорогостоящей стадии rollout (генерации ответов модели).
В основе GRESO — вероятностная модель, предсказывающая, стоит ли прогонять промпт через LLM.
Алгоритм анализирует историю вознаграждений (reward dynamics) за прошлые эпохи обучения: если промпт много раз подряд давал идентичные награды на всех сгенерированных ответах (их называют zero-variance), он, скорее всего, бесполезен и сейчас.
GRESO не блокирует их жестко, он вычисляет вероятность пропуска , опираясь на число идущих подряд «пустых» прогонов и базовую вероятность «исследования». Это позволяет иногда перепроверять сложные промпты, на тот случай, если вдруг модель «доучилась» и теперь они полезны.
Базовая вероятность автоматически настраивается в реальном времени: если доля бесполезных промптов выше целевого значения (например, 25%), GRESO ее снижает, экономя ресурсы; если ниже — повышает, добавляя гибкости. Плюс, алгоритм разделяет промпты на легкие и сложные, применяя к ним разную политику исследования (сложные проверяет чаще, так как они перспективнее для обучения сильной модели).
А чтобы не гонять большие батчи ради пары примеров, размер выборки динамически подстраивается под текущие нужды на основе вычисления из недостающих данных, α — текущей доли пустых промптов и запаса надежности.
Хотя GRESO и экономит сотни часов на H100, делая RL-тюнинг доступнее, у него есть нюансы:
Qwen Math 1.5В или Qwen Math 7b, есть несколько подготовленных скриптов файнтюна в train-scripts.@ai_machinelearning_big_data
#AI #ML #LLM #RL #GRESO
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🧠 DevOps-задача: неочевидное поведение `exec` в Bash
❓ Вопрос: что произойдёт при выполнении следующего скрипта?
🔍 Варианты:
• a) Скрипт выведет обе строки и "заснёт"
• b) Скрипт выведет только первую строку
• c) Скрипт ничего не выведет
• d) Скрипт завершится с ошибкой
💡 Разбор:
Команда
• строка
• строка
• строка
✅ Правильный ответ: b) Скрипт выведет только первую строку
📌 Вывод:
• заменах PID 1 в контейнерах
• написании минималистичных init-оболочек
• утечках в long-running скриптах, если
🛠️ Совет: если вы хотите просто запустить команду — не используйте
❓ Вопрос: что произойдёт при выполнении следующего скрипта?
#!/bin/bash
echo "Start script"
exec sleep 10
echo "This will never be printed"
🔍 Варианты:
• a) Скрипт выведет обе строки и "заснёт"
• b) Скрипт выведет только первую строку
• c) Скрипт ничего не выведет
• d) Скрипт завершится с ошибкой
💡 Разбор:
Команда
exec в Bash заменяет текущий процесс оболочки на указанную команду — в данном случае, sleep 10. Это значит:• строка
echo "Start script" выполнится • строка
exec sleep 10 заменит текущий процесс на sleep • строка
echo "This will never be printed" никогда не будет выполнена, потому что процесс уже заменён✅ Правильный ответ: b) Скрипт выведет только первую строку
📌 Вывод:
exec — мощная, но коварная команда. Она не запускает процесс в фоне, а заменяет текущий, без возврата. Это может использоваться в:• заменах PID 1 в контейнерах
• написании минималистичных init-оболочек
• утечках в long-running скриптах, если
exec используется не по назначению🛠️ Совет: если вы хотите просто запустить команду — не используйте
exec, если только вы намеренно не хотите завершить текущий процесс оболочки.🚨 Предотвращение угрозы всегда дешевле, чем расследование инцидента и устранение его последствий 💥 Но сказать проще, чем сделать.
Давайте разберемся, как и с помощью чего можно избавиться от большого класса инцидентов в кластерах Kubernetes. Приходите 10 июля в 11:00 на вебинар Luntry «Предотвращение Runtime угроз в контейнерах и Kubernetes».
Разберем в прямом эфире:
▶️ Чем отличается детектирование, реагирование и предотвращение
▶️ Что общего и разного у AppArmor, SeLinux, seccomp
▶️ Как NetworkPolicy относится к теме предотвращения
▶️ Что такое Linux Security Module (LSM) и при чем тут eBPF
▶️ Как Luntry помогает предотвращать Runtime угрозы
Кому будет полезно
- AppSec
- DevSecOps
- Platform team
- SOC
Вебинар бесплатный. Чтобы получить напоминание об эфире и запись после него, надо зарегистрироваться.
РЕГИСТРАЦИЯ:
🤖 ТГ-Бот | 🌐 Сайт + почта
#реклама
О рекламодателе
Давайте разберемся, как и с помощью чего можно избавиться от большого класса инцидентов в кластерах Kubernetes. Приходите 10 июля в 11:00 на вебинар Luntry «Предотвращение Runtime угроз в контейнерах и Kubernetes».
Разберем в прямом эфире:
▶️ Чем отличается детектирование, реагирование и предотвращение
▶️ Что общего и разного у AppArmor, SeLinux, seccomp
▶️ Как NetworkPolicy относится к теме предотвращения
▶️ Что такое Linux Security Module (LSM) и при чем тут eBPF
▶️ Как Luntry помогает предотвращать Runtime угрозы
Кому будет полезно
- AppSec
- DevSecOps
- Platform team
- SOC
Вебинар бесплатный. Чтобы получить напоминание об эфире и запись после него, надо зарегистрироваться.
РЕГИСТРАЦИЯ:
🤖 ТГ-Бот | 🌐 Сайт + почта
#реклама
О рекламодателе
🛠️ Awesome DevOps MCP Servers
MCP (Model Context Protocol) — открытый протокол, который позволяет AI-моделям безопасно взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверы. В этом списке собраны лучшие MCP-серверы для DevOps-задач:
• Инфраструктура как код (IaC)
– Terraform:
– Pulumi:
• Управление Kubernetes
–
–
–
• Облачные провайдеры
– AWS:
– Alibaba Cloud:
• Управление проектами и тикетами
– Freshdesk:
– Jira:
– Topdesk:
…и многое другое: CI/CD, сервисы мониторинга, управление версиями и безопасность.
🔗 Изучайте и расширяйте:
https://github.com/rohitg00/awesome-devops-mcp-servers
MCP (Model Context Protocol) — открытый протокол, который позволяет AI-моделям безопасно взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверы. В этом списке собраны лучшие MCP-серверы для DevOps-задач:
• Инфраструктура как код (IaC)
– Terraform:
dulltz/mcp-server-hcp-terraform, jashkahar/Terraform-MCP-Server, nwiizo/tfmcp – Pulumi:
pulumi/mcp-server • Управление Kubernetes
–
rohitg00/kubectl-mcp-server — natural language доступ к kubectl, helm, istioctl в безопасном Docker –
manusa/kubernetes-mcp-server — поддержка CRUD для любых ресурсов и OpenShift –
portainer/portainer-mcp — управление контейнерами и мониторинг через Portainer • Облачные провайдеры
– AWS:
awslabs/mcp (официальный), alexei-led/aws-mcp-server – Alibaba Cloud:
aliyun/alibaba-cloud-ops-mcp-server • Управление проектами и тикетами
– Freshdesk:
effytech/freshdesk-mcp – Jira:
nguyenvanduocit/jira-mcp – Topdesk:
dbsanfte/topdesk-mcp …и многое другое: CI/CD, сервисы мониторинга, управление версиями и безопасность.
🔗 Изучайте и расширяйте:
https://github.com/rohitg00/awesome-devops-mcp-servers
Как эффективно работать с проектной документацией?
Ответ знает команда Platform V Works – платформенного решения от СберТеха для ИТ-разработки.
На бесплатном вебинаре 27 июня в 11:00 спикер СберТеха расскажет, как решение Platform V Works::Wiki помогает управлять требованиями, технической и бизнес-документацией.
Вы узнаете:
- Как быстро формировать документы с мощными инструментами форматирования и макросов
- Как настраивать разграничение доступа для пользователей
- Как отслеживать изменения в версиях документов
- Как ускорять работу с помощью шаблонов
Команда СберТеха также ответит на ваши вопросы и поделится планами развития продукта.
Регистрируйтесь – вас ждет много интересного!
Ответ знает команда Platform V Works – платформенного решения от СберТеха для ИТ-разработки.
На бесплатном вебинаре 27 июня в 11:00 спикер СберТеха расскажет, как решение Platform V Works::Wiki помогает управлять требованиями, технической и бизнес-документацией.
Вы узнаете:
- Как быстро формировать документы с мощными инструментами форматирования и макросов
- Как настраивать разграничение доступа для пользователей
- Как отслеживать изменения в версиях документов
- Как ускорять работу с помощью шаблонов
Команда СберТеха также ответит на ваши вопросы и поделится планами развития продукта.
Регистрируйтесь – вас ждет много интересного!
WebVM от Leaning Technologies — браузерная виртуальная Linux‑машина, полностью клиентская (HTML5/WebAssembly)!
🚀 Возможности
• 🗄️ Запускает неизменённые x86‑бинарники (например, Debian‑дистрибутив) прямо в браузере
• Все выполняется локально — без серверной поддержки
• WebAssembly‑виртуализация через CheerpX: JIT‑компиляция x86 в Wasm + syscalls‑эмулятор
📦 Что включено
• Поддержка полноценного Debian с GCC, Python, Node.js и другими dev‑инструментами
• UI‑окружение с Xorg и i3 (с версии 2.0 появилось графическое рабочее место)
• Постоянное хранилище через IndexedDB + on‑demand загрузка диск‑блоков через CloudFlare Worker
• Сетевая интеграция через Tailscale VPN поверх WebSocket
🔧 Как запустить
1. Форкнуть репозиторий и активировать GitHub Pages
2. CI‑workflow автоматически развернёт вашу VM
3. Также можно локально: скачать ext2‑образ Debian, склонировать репо и запустить dev‑режим
🎯 Для кого это
• Разработчики, которым нужно быстрое тестовое окружение на любой машине
• Образовательные платформы, желающие дать студентам доступ к Linux‑инструментарию
• Исследователи WebAssembly/виртуализации
• Все, кто хочет запускать настоящий Linux без установки или докеров
💡 Почему это круто
• 🧩 Нет backend‑а — всё работает прямо в браузере и безопасно (браузерный sandbox)
• ✅ Подходит даже для мобильных устройств и сложных GUI‑приложений
• ⚡ Быстрая загрузка и нулевой хостинг‑cost
⚙️ Как начать
git clone https://github.com/leaningtech/webvm.git
cd webvm
# (опционально) скачайте Debian‑образ из релизов
# настройте GitHub Pages
▪ Github
Please open Telegram to view this post
VIEW IN TELEGRAM
🔐Мультикластерность в действии: как управлять безопасностью Kubernetes из одной точки!
🔥 Регистрируйтесь на вебинар 1 июля в 14:00 мск и узнайте, как PT Container Security обеспечивает централизованный контроль и защиту всех кластеров Kubernetes.
🔍Эксперты расскажут, как мониторить и защищать инфраструктуру из единой панели, экономить ресурсы и оптимизировать затраты, а также быстро реагировать на инциденты.
В программе:
🔴 Живое демо
🔴 Разбор сценариев
🔴 Новый графический установщик для удобного подключения кластеров.
Регистрируйтесь и присоединяйтесь к вебинару 1 июля в 14:00 МСК
*Kubernetes — система оркестрации контейнеров
🔥 Регистрируйтесь на вебинар 1 июля в 14:00 мск и узнайте, как PT Container Security обеспечивает централизованный контроль и защиту всех кластеров Kubernetes.
🔍Эксперты расскажут, как мониторить и защищать инфраструктуру из единой панели, экономить ресурсы и оптимизировать затраты, а также быстро реагировать на инциденты.
В программе:
Регистрируйтесь и присоединяйтесь к вебинару 1 июля в 14:00 МСК
*Kubernetes — система оркестрации контейнеров
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Задача для продвинутых DevOps-инженеров: «Миграция Postgres в облако без остановки сервиса»
Представьте продакшн-платформу:
• Kubernetes-кластер (v1.28) в двух регионах
• Микросервисы на Go и Python, общаются по gRPC
• StatefulSet с PostgreSQL 13 (self-hosted, SSD RAID-10)
• Трафик 7000 RPS, SLA = 99.95 %, окно простоя ≤ 30 сек
Цель
Перенести базу в управляемый Postgres-кластер (например, AWS Aurora) так, чтобы:
• API не теряли запросы и транзакции
• Метрики и алерты оставались валидными
• CI/CD остался GitOps-основанным (Argo CD)
• Секреты не хранились в манифестах
Условия и «подводные камни»
• В исходном Postgres включён logical replication; 2 тб данных, 3 млн TPS в pgbouncer-пуле
• Используется pgcrypto → нельзя менять шифрование на лету
• Приложения имеют hard-coded connection string в ConfigMap
• Читать из реплик можно, писать нужно только в primary
• Регион А может потерять связь с S3 на 5 минут в любой момент
• Лимит: 1 час на full-rollback в случае аварии
Что нужно спроектировать
1. План миграции с отметками T-0/T-1/T-2 (pre-cutover, dual-write, switchover)
2. Полностью идемпотентный GitOps-pipeline (ArgoCD-App-of-Apps)
3. Пошаговое обновление Secrets (Vault → CSI driver) без ревизии pod’ов
4. Canary-механизм трафика (Istio 1.22) + прометей-алерты уровня query latency p95
5. Rollback-стратегию, если write-amplification > 1.5× на новой БД
6. Планирование maintenance-окна с блокировкой DDL и feature-флагами
Решение (пояснение ключевых шагов)
*Логическая реплика и dual-write*
• Создаём Aurora как read-replica Postgres, подключаем
• В Kubernetes добавляем Sidecar-proxy (envoy) → умеет писать одновременно в old и new primary.
• Включаем dual-write только для команд
*Секреты без простоя*
• Секреты переносятся из ConfigMap в Vault KV2.
• Deploy CSI-driver и auto-injector; переменные окружения читают через projected volume.
• Патчинг Deployments через
*Canary и метрики*
• Istio DestinationRule + VirtualService: трафик
• Прометей-rule:
• Отдельный alert на
*Cutover*
1. T-0: включён dual-write, read-only на реплики.
2. T-1: проверяем чек-суммы через
3. T-2: Istio маршрутизирует 100 % на новую primary, выключаем dual-write.
4. Разморозка DDL через Liquibase-pipeline.
*Rollback*
• Переключаем Istio обратно на старый primary (мгновенно)
• Опционально реплицируем дельту назад через
• Откатываем Secrets версией Vault с «previous revision» (Vault KV2)
*GitOps-pipeline (ArgoCD)*
• Весь cutover хранится в migrate-prod ветке → можно мгновенно вернуться на main.
Фиксация SLA
• Приложения читают тайм-ауты из ConfigMap, а не код. Перед миграцией снижаем тайм-ауты connect_timeout=2s.
• Версионируем Helm-charts микросервисов: appVersion: 2024.06-cutover.
Итог
При правильной настройке dual-write и canary-трафика фактический простой уложится в 5-10 секунд (только время Istio-промотирования) с гарантированным откатом ≤ 1 час. Это упражнение проверяет глубокие знания Kubernetes, GitOps, сетевого слоя и Postgres-репликации.
Представьте продакшн-платформу:
• Kubernetes-кластер (v1.28) в двух регионах
• Микросервисы на Go и Python, общаются по gRPC
• StatefulSet с PostgreSQL 13 (self-hosted, SSD RAID-10)
• Трафик 7000 RPS, SLA = 99.95 %, окно простоя ≤ 30 сек
Цель
Перенести базу в управляемый Postgres-кластер (например, AWS Aurora) так, чтобы:
• API не теряли запросы и транзакции
• Метрики и алерты оставались валидными
• CI/CD остался GitOps-основанным (Argo CD)
• Секреты не хранились в манифестах
Условия и «подводные камни»
• В исходном Postgres включён logical replication; 2 тб данных, 3 млн TPS в pgbouncer-пуле
• Используется pgcrypto → нельзя менять шифрование на лету
• Приложения имеют hard-coded connection string в ConfigMap
• Читать из реплик можно, писать нужно только в primary
• Регион А может потерять связь с S3 на 5 минут в любой момент
• Лимит: 1 час на full-rollback в случае аварии
Что нужно спроектировать
1. План миграции с отметками T-0/T-1/T-2 (pre-cutover, dual-write, switchover)
2. Полностью идемпотентный GitOps-pipeline (ArgoCD-App-of-Apps)
3. Пошаговое обновление Secrets (Vault → CSI driver) без ревизии pod’ов
4. Canary-механизм трафика (Istio 1.22) + прометей-алерты уровня query latency p95
5. Rollback-стратегию, если write-amplification > 1.5× на новой БД
6. Планирование maintenance-окна с блокировкой DDL и feature-флагами
Решение (пояснение ключевых шагов)
*Логическая реплика и dual-write*
• Создаём Aurora как read-replica Postgres, подключаем
pglogical для lorepl. • В Kubernetes добавляем Sidecar-proxy (envoy) → умеет писать одновременно в old и new primary.
• Включаем dual-write только для команд
INSERT/UPDATE/DELETE; SELECT всё ещё смотрит на старую primary.*Секреты без простоя*
• Секреты переносятся из ConfigMap в Vault KV2.
• Deploy CSI-driver и auto-injector; переменные окружения читают через projected volume.
• Патчинг Deployments через
kubectl patch --type strategic не перезапускает pod’ы (без изменения podSpec.h`) — остаёмся в том же ReplicaSet.*Canary и метрики*
• Istio DestinationRule + VirtualService: трафик
canary: 10 %, stable: 90 %. • Прометей-rule:
rate(http_requests_total{status!~"5..",destination_service="canary"}[5m]) < threshold. • Отдельный alert на
pg_stat_replication replay_lag > 1 сек.*Cutover*
1. T-0: включён dual-write, read-only на реплики.
2. T-1: проверяем чек-суммы через
pg_dump --schema-only и pg_comparator. 3. T-2: Istio маршрутизирует 100 % на новую primary, выключаем dual-write.
4. Разморозка DDL через Liquibase-pipeline.
*Rollback*
• Переключаем Istio обратно на старый primary (мгновенно)
• Опционально реплицируем дельту назад через
wal2json → old primary • Откатываем Secrets версией Vault с «previous revision» (Vault KV2)
*GitOps-pipeline (ArgoCD)*
apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
name: postgres-cutover
spec:
syncPolicy:
automated:
selfHeal: true
prune: true
retry:
limit: 4
source:
repoURL: [email protected]:corp/platform-deploy
path: k8s/postgres/aurora
targetRevision: migrate-prod
destination:
namespace: database
server: https://kubernetes.default.svc
• Весь cutover хранится в migrate-prod ветке → можно мгновенно вернуться на main.
Фиксация SLA
• Приложения читают тайм-ауты из ConfigMap, а не код. Перед миграцией снижаем тайм-ауты connect_timeout=2s.
• Версионируем Helm-charts микросервисов: appVersion: 2024.06-cutover.
Итог
При правильной настройке dual-write и canary-трафика фактический простой уложится в 5-10 секунд (только время Istio-промотирования) с гарантированным откатом ≤ 1 час. Это упражнение проверяет глубокие знания Kubernetes, GitOps, сетевого слоя и Postgres-репликации.
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
OpenAI запустила Search Connectors для ChatGPT Pro и Team, функцию, которая напрямую связывает облачные хранилища (Google Drive, Dropbox и OneDrive) с интерфейсом чата. Теперь пользователи могут искать, анализировать и обобщать документы, не загружая их вручную.
Лимит файлов на проект для Pro-подписчиков вырос с 20 до 40, а поддержка охватывает 12 сервисов, включая GitHub, Gmail и Outlook. Пока новинка доступна за пределами ЕС, Великобритании и Швейцарии.
Open AI в сети Х
Imagen 4, усовершенствованные модели генерации изображений по текстовым запросам, стали доступны в двух версиях: базовая Imagen 4 (4 цента за изображение) для повседневных задач и Imagen 4 Ultra (6 центов) с повышенной детализацией и точностью исполнения инструкций. Обе модели доступны в Gemini API для платных пользователей, а также в ограниченном бесплатном тестировании через Google AI Studio.
Разработчики обещают улучшенное отображение текста на картинках и расширение тарифных планов в ближайшие недели. Все сгенерированные изображения получат скрытый цифровой водяной знак SynthID.
developers.googleblog.com
HPE и NVIDIA анонсировали совместные решения для создания «фабрик искусственного интеллекта» на базе модульной инфраструктуры. В линейку вошли серверы HPE ProLiant DL380a Gen12 с GPU NVIDIA RTX PRO 6000 Blackwell, которые предлагают универсальную платформу для генеративного и промышленного ИИ.
Также был представлен HPE Private Cloud AI — готовое решение для быстрого внедрения ИИ, совместимое с фреймворком NVIDIA Enterprise AI Factory. Для финансового сектора планируется тестирование агентного ИИ с Accenture, а 26 новых партнеров расширят экосистему HPE, добавив 70 преднастроенных сценариев: от детекции мошенничества до кибербезопасности. Решения доступны для заказа, а система HPE Compute XD690 с GPU Blackwell Ultra начнет отгружаться в октябре.
blogs.nvidia.com
AlphaGenome — нейросеть, которая предсказывает, как мутации в ДНК влияют на регуляцию генов. Модель обрабатывает участки длиной до миллиона пар оснований, анализируя их на уровне отдельных «букв» и оценивая тысячи молекулярных свойств: активность генов, сплайсинг РНК, доступность участков ДНК.
AlphaGenome сочетает сверточные слои для поиска коротких паттернов и трансформеры для анализа длинных последовательностей. Одна из ключевых особенностей - точное моделирование сплайс-сайтов, важное для изучения редких заболеваний.
Модель превзошла аналоги в 22 из 24 тестов, предсказывая как структуру ДНК, так и эффекты вариантов. Доступ к AlphaGenome открыт через API для некоммерческих проектов.
deepmind.google
Группа исследователей из Сингапура и Китая представила LongWriter-Zero, модель, которая генерирует тексты длиной более 10 тысяч слов, обучаясь только через RL, без использования синтетических данных. Модель опирается на три специализированных «наградных» алгоритма, оценивающих структуру, качество и длину текста, а также уникальный метод «усреднения преимущества», который балансирует приоритеты между ними.
LongWriter-Zero использует «промты-размышления»: перед написанием модель планирует структуру текста, улучшая его связность. Бенчмарки показали рост эффективности с 700 до 1200 поинтов Elo. Однако у модели есть слабые места: она склонна к повторам и переиспользованию слов, которые система поощряет в процессе обучения.
Модель и датасет доступны на Hugging Face.
huggingface.co
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
CI/CD — сердце современного деплоя. Но это ещё и точка входа для атак, которые способны нанести серьёзный урон организации. Об этом рассказали в статье.
Сценарии компрометации сегодня:
⏺️ внедрение бэкдоров через артефакты;
⏺️ утечка секретов из логов;
⏺️ подмена образов;
⏺️ lateral movement по всей облачной инфраструктуре.
А теперь представьте, что всё это происходит не в вашем pet-проекте, а в prod-окружении нагруженного сервиса, которым пользуются тысячи пользователей каждый день.
В новой статье Алексей Федулаев и Андрей Моисеев из команды Cloud Native Security в MWS Cloud Platform — разбирают реальные векторы атак на CI/CD: от PPE до cache poisoning. И главное — показывают, как им противостоять.
Разложено по схемам, сценариям и потенциальным уязвимостям, которые легко упустить.
🔗 Читать статью
Сценарии компрометации сегодня:
А теперь представьте, что всё это происходит не в вашем pet-проекте, а в prod-окружении нагруженного сервиса, которым пользуются тысячи пользователей каждый день.
В новой статье Алексей Федулаев и Андрей Моисеев из команды Cloud Native Security в MWS Cloud Platform — разбирают реальные векторы атак на CI/CD: от PPE до cache poisoning. И главное — показывают, как им противостоять.
Разложено по схемам, сценариям и потенциальным уязвимостям, которые легко упустить.
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
📕 На Reddit стал популярен лучший интерактивный учебник по алгоритмам Computer Science — это самая эпичная книга от энтузиаста на 680 страниц!
• целых 22 огромных главы — охватывают всё от массивов до продвинутых алгоритмов на графах.
• 300 интерактивных визуализаций — для наглядного объяснения всех концепций.
• 250 фрагментов кода — в каждом есть подробный гайд по решению.
• Встроенный интерпретатор Python — позволяет редактировать и запускать код для практики.
• Это не электронная книга, а целое приложение с интерактивными страницами.
Поддерживаются MacOS 11+ и Windows 10+. Учебник стоит $35 (автор дарит промокод 20% SIDEPRJ и скидки для студентов), но для всех желающих доступна бесплатная (!) глава.
Для всех, кто изучает программирование — тут.
• целых 22 огромных главы — охватывают всё от массивов до продвинутых алгоритмов на графах.
• 300 интерактивных визуализаций — для наглядного объяснения всех концепций.
• 250 фрагментов кода — в каждом есть подробный гайд по решению.
• Встроенный интерпретатор Python — позволяет редактировать и запускать код для практики.
• Это не электронная книга, а целое приложение с интерактивными страницами.
Поддерживаются MacOS 11+ и Windows 10+. Учебник стоит $35 (автор дарит промокод 20% SIDEPRJ и скидки для студентов), но для всех желающих доступна бесплатная (!) глава.
Для всех, кто изучает программирование — тут.
This media is not supported in your browser
VIEW IN TELEGRAM
ШТУРВАЛЬЧИК?
Ребятам из «Лаборатории Числитель», видимо, было мало шуток про Штурвал, теперь они выпустили Штурвальчик.
Многие говорили, что он слишком много жрёт. Теперь минимальный конфиг — это:
▪️один хост с 6 CPU
▪️8 ГБ RAM
▪️80 ГБ хранилища
В целом на мощном ноуте можно раскатать парочку кластеров куба — этого хватит на управляющий и несколько клиентских.
Вопросы можно в Kubernetes-чате «Штурвала» задать.
Ребятам из «Лаборатории Числитель», видимо, было мало шуток про Штурвал, теперь они выпустили Штурвальчик.
Многие говорили, что он слишком много жрёт. Теперь минимальный конфиг — это:
▪️один хост с 6 CPU
▪️8 ГБ RAM
▪️80 ГБ хранилища
В целом на мощном ноуте можно раскатать парочку кластеров куба — этого хватит на управляющий и несколько клиентских.
Вопросы можно в Kubernetes-чате «Штурвала» задать.
📚 DevOps Knowledge Hub — универсальная база знаний для инженеров. Этот GitHub-репозиторий собрал в себе всё необходимое для освоения DevOps: от основ Docker и Kubernetes до продвинутых инструментов вроде ArgoCD и Terraform. Автор структурировал материалы по категориям, включив не только теорию, но и практические примеры — compose-файлы, манифесты, bash-скрипты и даже готовые сценарии для GitHub Actions.
Репозиторий дублируется на отдельном сайте (devops.pradumnasaraf.dev), где информация представлена в более удобном для чтения формате. Такой подход превращает проект в живую документацию, которая будет полезна как новичкам, так и опытным специалистам для быстрого освежения знаний.
🤖 GitHub
@devopsitsec
Репозиторий дублируется на отдельном сайте (devops.pradumnasaraf.dev), где информация представлена в более удобном для чтения формате. Такой подход превращает проект в живую документацию, которая будет полезна как новичкам, так и опытным специалистам для быстрого освежения знаний.
🤖 GitHub
@devopsitsec