Устраняем эффект шумного соседа в PostgreSQL с помощью cgroups
Приходилось ли вам запускать на одной виртуальной или физической машине несколько экземпляров PostgreSQL или любого другого ПО? Зачастую это вызывает эффект шумного соседа: приложения «отбирают» друг у друга ресурсы и мешают корректной работе. Если коротко, то решение запуск БД в контейнере. Читать дальше.
Приходилось ли вам запускать на одной виртуальной или физической машине несколько экземпляров PostgreSQL или любого другого ПО? Зачастую это вызывает эффект шумного соседа: приложения «отбирают» друг у друга ресурсы и мешают корректной работе. Если коротко, то решение запуск БД в контейнере. Читать дальше.
Путь пакета через ядро Linux
В этой статье исследуется сетевой стек TCP/IPv4 и UDP/IPv4 в Linux - наиболее распространенной серверной ОС. Также описывается трассировка наиболее важных сетевых функций ядра Linux 5.10.8. Хотя документация по сетевому коду Linux существует, она часто является устаревшей или охватывает только отдельные аспекты, такие как уровень IP или TCP.
В этой статье исследуется сетевой стек TCP/IPv4 и UDP/IPv4 в Linux - наиболее распространенной серверной ОС. Также описывается трассировка наиболее важных сетевых функций ядра Linux 5.10.8. Хотя документация по сетевому коду Linux существует, она часто является устаревшей или охватывает только отдельные аспекты, такие как уровень IP или TCP.
Что в черном ящике, или Как разработчику понять, что требует оптимизации в БД PostgreSQL
Слово DBA из Т-Банка:
«Мы достигли впечатляющего масштаба — почти 10 000 работающих экземпляров PostgreSQL, с которыми работают более 2 000 команд. Каждый из этих инстансов обслуживает уникальные рабочие нагрузки, разработанные командами с различными подходами к архитектуре, используемыми фреймворками и паттернами проектирования. Несмотря на огромное количество БД, команда администраторов баз данных (DBA) остается относительно небольшой (10 человек). Это создает целый ряд сложных задач, требующих тщательного управления и оптимизации процессов.»
В статье разбираются подходы к визуализации производительности БД. Узнаете на что нужно обращать внимание.
Слово DBA из Т-Банка:
«Мы достигли впечатляющего масштаба — почти 10 000 работающих экземпляров PostgreSQL, с которыми работают более 2 000 команд. Каждый из этих инстансов обслуживает уникальные рабочие нагрузки, разработанные командами с различными подходами к архитектуре, используемыми фреймворками и паттернами проектирования. Несмотря на огромное количество БД, команда администраторов баз данных (DBA) остается относительно небольшой (10 человек). Это создает целый ряд сложных задач, требующих тщательного управления и оптимизации процессов.»
В статье разбираются подходы к визуализации производительности БД. Узнаете на что нужно обращать внимание.
Пишем свой загрузчик операционной системы Linux
Современные загрузчики представляют собой сложные программы, способные загружать множество операционных систем различными способами, учитывая массу нюансов, связанных с программным и аппаратным обеспечением. Читая их исходный код, легко утонуть в деталях и потерять понимание сути и реализации. Читать дальше на Хабре.
Современные загрузчики представляют собой сложные программы, способные загружать множество операционных систем различными способами, учитывая массу нюансов, связанных с программным и аппаратным обеспечением. Читая их исходный код, легко утонуть в деталях и потерять понимание сути и реализации. Читать дальше на Хабре.
Пишем модули для Nginx
Nginx — это не просто веб‑сервер, а платформа, возможности которой можно расширять своими модулями. Если вам не хватает стандартного функционала и хочется больше контроля над обработкой запросов, кастомные модули могут позволить внедрять свою логику, оптимизировать маршрутизацию, фильтровать контент и реализовывать нестандартные механизмы аутентификации. Читать дальше.
Nginx — это не просто веб‑сервер, а платформа, возможности которой можно расширять своими модулями. Если вам не хватает стандартного функционала и хочется больше контроля над обработкой запросов, кастомные модули могут позволить внедрять свою логику, оптимизировать маршрутизацию, фильтровать контент и реализовывать нестандартные механизмы аутентификации. Читать дальше.
Как работает bind mount в Linux: руководство для начинающих
В статье рассматриваются основные принципы работы bind mount, а также примеры его использования для доступа к скрытым файлам и работы с chroot-окружениями. Читать дальше.
В статье рассматриваются основные принципы работы bind mount, а также примеры его использования для доступа к скрытым файлам и работы с chroot-окружениями. Читать дальше.
Влияние источника времени на результат explain в PostgreSQL
При выполнении тестов периодически автор этой статье сталкивался с неожиданными изменениями результатов тестов после рестарта linux и при обновлении версии linux. Причиной оказался источник времени. В статье рассматривается как источник времени влияет на выполнение команды explain analyze. Читать дальше.
При выполнении тестов периодически автор этой статье сталкивался с неожиданными изменениями результатов тестов после рестарта linux и при обновлении версии linux. Причиной оказался источник времени. В статье рассматривается как источник времени влияет на выполнение команды explain analyze. Читать дальше.
15 однострочных bash-скриптов для упрощения рутинных задач
В статье вы найдете примеры однострочников для быстрой проверки разных полезных штук. Какие-то проверки могут быть знакомы, а какие-то нет.
В статье вы найдете примеры однострочников для быстрой проверки разных полезных штук. Какие-то проверки могут быть знакомы, а какие-то нет.
Teletype
15 однострочных bash-скриптов для упрощения рутинных задач
Подписывайтесь на телеграм-канал usr_bin, где я публикую много полезного по Linux, в том числе ссылки на статьи в этом блоге.
Автоматизированное управление расширенной статистикой в PostgreSQL
Суть метода состоит в автоматическом управлении расширенной статистикой по колонкам таблицы. Идея родилась в момент, когда заканчивая работу над очередным "умным" query-driven продуктом улучшения качества планирования Postgres автор статьи осознал, что архитектура этой СУБД пока ещё не готова к полностью автономной работе - автоматическому детектированию плохих планов и подстройки оптимизатора. Читать дальше.
Суть метода состоит в автоматическом управлении расширенной статистикой по колонкам таблицы. Идея родилась в момент, когда заканчивая работу над очередным "умным" query-driven продуктом улучшения качества планирования Postgres автор статьи осознал, что архитектура этой СУБД пока ещё не готова к полностью автономной работе - автоматическому детектированию плохих планов и подстройки оптимизатора. Читать дальше.
Как NGINX обрабатывает TCP/UDP
В этой статье рассмотрено, как NGINX обрабатывает TCP/UDP‑соединения: от принятия запроса до логирования.
В этой статье рассмотрено, как NGINX обрабатывает TCP/UDP‑соединения: от принятия запроса до логирования.
Linux-десктоп своими руками: базовый набор программ
Автор статьи разбирает базовый набор программ для десктопных пользователей Linux. От sakura до quake2. Читать на Хабре.
Автор статьи разбирает базовый набор программ для десктопных пользователей Linux. От sakura до quake2. Читать на Хабре.
Семь фаз вакуумирования в PostgreSQL
В статье описан алгоритм вакуумирования PostgreSQL и приводится сравнение числа сканирований индексов в 17 версии PostgreSQL и предыдущих версиях.
Есть пять фаз вакуумирования каждой таблицы, mwiew, toast и индексов на них: SCAN_HEAP, VACUUM_INDEX, VACUUM_HEAP, INDEX_CLEANUP, VACUUM TRUNCATE. Помимо них есть подготовительная фаза инициализации и завершающая фаза. Читать дальше.
В статье описан алгоритм вакуумирования PostgreSQL и приводится сравнение числа сканирований индексов в 17 версии PostgreSQL и предыдущих версиях.
Есть пять фаз вакуумирования каждой таблицы, mwiew, toast и индексов на них: SCAN_HEAP, VACUUM_INDEX, VACUUM_HEAP, INDEX_CLEANUP, VACUUM TRUNCATE. Помимо них есть подготовительная фаза инициализации и завершающая фаза. Читать дальше.
Установка Astra Linux на Raspberry pi 4
В статье автор делится опытом установки Astra Linux на один из самых популярных одноплатных компьютеров - raspberry pi 4.
В статье автор делится опытом установки Astra Linux на один из самых популярных одноплатных компьютеров - raspberry pi 4.
Шардированный кластер ClickHouse
Про ClickHouse как MPP-систему (Massively Parallel Processing) не так много информации можно найти в открытом доступе, но многое можно рассказать. Автор этой статье делится своим опытом и считает, что его рассказ поможет кому-нибудь сформировать целостную картину о том, как в ClickHouse спроектированы распределённые вычисления. Читать на Хабре.
Про ClickHouse как MPP-систему (Massively Parallel Processing) не так много информации можно найти в открытом доступе, но многое можно рассказать. Автор этой статье делится своим опытом и считает, что его рассказ поможет кому-нибудь сформировать целостную картину о том, как в ClickHouse спроектированы распределённые вычисления. Читать на Хабре.
pev2
PEV2 — компонент VueJS для графической визуализации плана выполнения PostgreSQL.
Репыч на Гитхабе
PEV2 — компонент VueJS для графической визуализации плана выполнения PostgreSQL.
Репыч на Гитхабе
Ужасное состояние двоичной совместимости Linux (и что с ним делать)
Двоичная совместимость в Linux омрачена одним аспектом, который часто упускают из виду при рассмотрении выпуска ПО для Linux. В этой статье рассказано, как можно увидеть этот аспект, как решать эту проблему при выпуске современного ПО и что же именно нужно сделать, чтобы устранить её полностью. Читать на Хабре.
Двоичная совместимость в Linux омрачена одним аспектом, который часто упускают из виду при рассмотрении выпуска ПО для Linux. В этой статье рассказано, как можно увидеть этот аспект, как решать эту проблему при выпуске современного ПО и что же именно нужно сделать, чтобы устранить её полностью. Читать на Хабре.
Секционирование в PostgreSQL. Архитектура корзинного хранения данных. (Basket partitioning)
Когда размеры таблиц становятся большими — обслуживание и доступ к данным становятся непростой задачей. Автор этой статьи делится методикой организации секционирования в PostgreSQL, которая существенно упростила ему жизнь с таблицами большого размера, хранящими, например, исторические данные по датам. Технология «Корзинное секционирование» (Basket partitioning) реализована архитектурно, без необходимости расширения функционала сторонними инструментами или расширениями, только штатными средствами ванильных версий PostgreSQL. Такая система хранения реализована, например, в проекте мониторинга pg_awr для упрощения удаления старых данных. Читать дальше на Хабре.
Когда размеры таблиц становятся большими — обслуживание и доступ к данным становятся непростой задачей. Автор этой статьи делится методикой организации секционирования в PostgreSQL, которая существенно упростила ему жизнь с таблицами большого размера, хранящими, например, исторические данные по датам. Технология «Корзинное секционирование» (Basket partitioning) реализована архитектурно, без необходимости расширения функционала сторонними инструментами или расширениями, только штатными средствами ванильных версий PostgreSQL. Такая система хранения реализована, например, в проекте мониторинга pg_awr для упрощения удаления старых данных. Читать дальше на Хабре.
Запуск Linux внутри PDF
По мнению некоторых пользователей, PDF — простой формат для обмена документами. На самом деле это очень сложный стандарт, который поддерживает выполнение практически любого кода. Неудивительно, что в прошлые годы энтузиастам удалось успешно запустить Doom внутри PDF и провести ряд других интересных экспериментов. Читать дальше.
По мнению некоторых пользователей, PDF — простой формат для обмена документами. На самом деле это очень сложный стандарт, который поддерживает выполнение практически любого кода. Неудивительно, что в прошлые годы энтузиастам удалось успешно запустить Doom внутри PDF и провести ряд других интересных экспериментов. Читать дальше.