DATA_TALKS Telegram 612
Рады поделиться новой статьей наших коллег, опубликованной на Хабре

➡️ Как мы захотели контролировать SPILL’ы в Greenplum и сделали «Демократизатор»

Команда отдела поддержки инфраструктуры подготовила материал о создании системы автоматического контроля нагрузки в Greenplum — инструмента под названием «Демократизатор».

Раньше один неоптимизированный запрос мог генерировать до 40 ТБ SPILL-файлов, парализуя всю систему. Пользователи не понимали причин проблем, а администраторы узнавали об инцидентах постфактум.

В статье описана архитектура решения на Python, Django и Celery, которое работает 24/7: обнаруживает проблемные запросы, предупреждает пользователей, при необходимости завершает тяжелые процессы и дает понятную обратную связь.

Результаты впечатляют: более 10 000 зафиксированных нарушений, 13 000 уведомлений и 459 завершенных проблемных процессов.

📢 Читайте полную статью на Хабре и оставляйте комментарии!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍2



tgoop.com/data_talks/612
Create:
Last Update:

Рады поделиться новой статьей наших коллег, опубликованной на Хабре

➡️ Как мы захотели контролировать SPILL’ы в Greenplum и сделали «Демократизатор»

Команда отдела поддержки инфраструктуры подготовила материал о создании системы автоматического контроля нагрузки в Greenplum — инструмента под названием «Демократизатор».

Раньше один неоптимизированный запрос мог генерировать до 40 ТБ SPILL-файлов, парализуя всю систему. Пользователи не понимали причин проблем, а администраторы узнавали об инцидентах постфактум.

В статье описана архитектура решения на Python, Django и Celery, которое работает 24/7: обнаруживает проблемные запросы, предупреждает пользователей, при необходимости завершает тяжелые процессы и дает понятную обратную связь.

Результаты впечатляют: более 10 000 зафиксированных нарушений, 13 000 уведомлений и 459 завершенных проблемных процессов.

📢 Читайте полную статью на Хабре и оставляйте комментарии!

BY Data & AI Talks




Share with your friend now:
tgoop.com/data_talks/612

View MORE
Open in Telegram


Telegram News

Date: |

A Telegram channel is used for various purposes, from sharing helpful content to implementing a business strategy. In addition, you can use your channel to build and improve your company image, boost your sales, make profits, enhance customer loyalty, and more. End-to-end encryption is an important feature in messaging, as it's the first step in protecting users from surveillance. Concise Don’t publish new content at nighttime. Since not all users disable notifications for the night, you risk inadvertently disturbing them. A vandalised bank during the 2019 protest. File photo: May James/HKFP.
from us


Telegram Data & AI Talks
FROM American