Оптимизация запросов в ClickHouse с помощью создания цепочки материализованных представлений
Материализованное представление - это специальный тип таблицы, содержащей результат выполнения запроса к исходным данным. Этот результат фактически представляет собой кэшированное представление данных из исходных таблиц.
Базы данных
Материализованное представление - это специальный тип таблицы, содержащей результат выполнения запроса к исходным данным. Этот результат фактически представляет собой кэшированное представление данных из исходных таблиц.
Базы данных
После ухода зарубежных вендоров рынок СУБД в России стал меняться быстро и по всем фронтам. В интервью «Коду» Леонид Савченков из Yandex Cloud рассказывает, как в компании выстраивают платформу данных под эти реалии.
Ключевые фокусы — стабильность, масштабируемость и опора на open source. После закрытия Greenplum Яндекс поддерживает его последнюю открытую версию (v6) и параллельно развивает Cloudberry — активный форк в составе Apache Software Foundation.
Яндекс активно коммитит в Postgres и Clickhouse. Первым внедрил кворумную репликацию — ту самую, которую позже адаптировали AWS и Azure. Сейчас в разработке облачный сервис для шардированных инстансов Postgres.
На замену Greenplum приходит Cloudberry: проект развивается под крылом Apache, и Яндекс активно его коммитит.
Из свежего — BI-платформа DataLens получила редактор для визуализаций на JS и публичную галерею дашбордов. А YTsaurus теперь доступен как управляемый сервис — для тех, кто работает с эксабайтами.
Ключевые фокусы — стабильность, масштабируемость и опора на open source. После закрытия Greenplum Яндекс поддерживает его последнюю открытую версию (v6) и параллельно развивает Cloudberry — активный форк в составе Apache Software Foundation.
Яндекс активно коммитит в Postgres и Clickhouse. Первым внедрил кворумную репликацию — ту самую, которую позже адаптировали AWS и Azure. Сейчас в разработке облачный сервис для шардированных инстансов Postgres.
На замену Greenplum приходит Cloudberry: проект развивается под крылом Apache, и Яндекс активно его коммитит.
Из свежего — BI-платформа DataLens получила редактор для визуализаций на JS и публичную галерею дашбордов. А YTsaurus теперь доступен как управляемый сервис — для тех, кто работает с эксабайтами.
Как пройти… к третьей нормальной форме?
В литературе описывается шесть или даже больше нормальных форм, однако в большинстве случаев достаточно доведения базы данных до третьей нормальной формы. Более того, в ряде случаев, если это даёт прирост производительности, допускается отступление и от этих требований — выполняется так называемая денормализация таблиц.
Базы данных
В литературе описывается шесть или даже больше нормальных форм, однако в большинстве случаев достаточно доведения базы данных до третьей нормальной формы. Более того, в ряде случаев, если это даёт прирост производительности, допускается отступление и от этих требований — выполняется так называемая денормализация таблиц.
Базы данных
Media is too big
VIEW IN TELEGRAM
NoSQL простым языком: что это и зачем нужно?
NoSQL — тип баз данных, которые хранят данные в отличном от реляционных таблиц формате. Они узкоспециализированны для конкретных задач и нужны для улучшения производительности, масштабируемости и удобства в работе. В этом ролике автор подробно и наглядно разберёт данный тип БД.
Смотреть это видео на youtube: youtu.be/IBzTDkYNB7I
NoSQL — тип баз данных, которые хранят данные в отличном от реляционных таблиц формате. Они узкоспециализированны для конкретных задач и нужны для улучшения производительности, масштабируемости и удобства в работе. В этом ролике автор подробно и наглядно разберёт данный тип БД.
Смотреть это видео на youtube: youtu.be/IBzTDkYNB7I
PondPilot: как мы сделали локальный SQL-редактор в браузере на DuckDB и WASM
Любой, кто хоть раз пытался «по-быстрому» проанализировать CSV-файл или прототип БД, сталкивался с выбором из неудобств: открывать в Excel, запускать Jupyter, возиться с pandas, или поднимать Postgres/ClickHouse ради пары запросов. Автору показалось странным, что до сих пор нет удобной zero-setup SQL-песочницы для локальных данных.
Базы данных
Любой, кто хоть раз пытался «по-быстрому» проанализировать CSV-файл или прототип БД, сталкивался с выбором из неудобств: открывать в Excel, запускать Jupyter, возиться с pandas, или поднимать Postgres/ClickHouse ради пары запросов. Автору показалось странным, что до сих пор нет удобной zero-setup SQL-песочницы для локальных данных.
Базы данных
Консолидация баз данных: этапы, методы и примеры
Сейчас во всём мире объёмы данных растут с невероятной скоростью, и чтобы эффективно использовать их потенциал, требуется правильное хранение и управление информацией. Одним из наиболее эффективных способов решения этой проблемы является консолидация баз данных. В этой статье автор разберет, какую пользу может принести консолидация баз данных и как её провести на практике.
Базы данных
Сейчас во всём мире объёмы данных растут с невероятной скоростью, и чтобы эффективно использовать их потенциал, требуется правильное хранение и управление информацией. Одним из наиболее эффективных способов решения этой проблемы является консолидация баз данных. В этой статье автор разберет, какую пользу может принести консолидация баз данных и как её провести на практике.
Базы данных
Реляционные vs Связанные данные
В этой статье автор разберет, что такое реляционная модель и связанные с ней SQL и реляционная алгебра. Вы рассмотрите примеры связанных данных из Викидата, а далее RDF, SPARQL и узнаете про Datalog и логическое представление данных. В конце статьи выводы — когда применять реляционную модель, а когда связно-логическую.
Базы данных
В этой статье автор разберет, что такое реляционная модель и связанные с ней SQL и реляционная алгебра. Вы рассмотрите примеры связанных данных из Викидата, а далее RDF, SPARQL и узнаете про Datalog и логическое представление данных. В конце статьи выводы — когда применять реляционную модель, а когда связно-логическую.
Базы данных
Media is too big
VIEW IN TELEGRAM
Иерархические (рекурсивные) запросы
При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.
Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE
При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.
Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE
🔥 Научитесь работать с базами данных и анализировать данные на новом уровне! Курс «SQL для разработчиков и аналитиков» подходит как для новичков, так и для опытных специалистов.
✅ Вы изучите основы реляционных БД, научитесь создавать сложные SQL-запросы, работать с различными СУБД (PostgreSQL, MySQL, SQL Server) и оптимизировать запросы для повышения производительности.
✅ Вы освоите как базовый, так и продвинутый синтаксис SQL. Применяйте эти навыки для решения реальных задач.
⏰ Набор скоро закроется, не упустите шанс прокачать свои навыки и открыть новые перспективы для карьерного роста. Пройдите тест и получите скидку на обучение: https://vk.cc/cNbyBC
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
✅ Вы изучите основы реляционных БД, научитесь создавать сложные SQL-запросы, работать с различными СУБД (PostgreSQL, MySQL, SQL Server) и оптимизировать запросы для повышения производительности.
✅ Вы освоите как базовый, так и продвинутый синтаксис SQL. Применяйте эти навыки для решения реальных задач.
⏰ Набор скоро закроется, не упустите шанс прокачать свои навыки и открыть новые перспективы для карьерного роста. Пройдите тест и получите скидку на обучение: https://vk.cc/cNbyBC
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Как провести нагрузочное тестирование БД PostgreSQL и ничего не забыть
При нагрузочном тестировании баз данных PostgreSQL с использованием стандартного инструмента pgbench отсутствие фиксации деталей окружения (таких как конфигурация СУБД, характеристики сервера, версии ПО) часто приводит к нерепрезентативным результатам и необходимости повторных тестов. В этой статье рассматривается разработанный автором инструмент pg_perfbench, который призван решить эту проблему.
Базы данных
При нагрузочном тестировании баз данных PostgreSQL с использованием стандартного инструмента pgbench отсутствие фиксации деталей окружения (таких как конфигурация СУБД, характеристики сервера, версии ПО) часто приводит к нерепрезентативным результатам и необходимости повторных тестов. В этой статье рассматривается разработанный автором инструмент pg_perfbench, который призван решить эту проблему.
Базы данных
🚨 Не пропустите 02 июля в 20:00 бесплатный вебинар “SQL: Оконные функции — когда GROUP BY уже не хватает” от курса “SQL для аналитиков и разработчиков”.
На вебинаре обсудим:
✅ Что такое оконные функции и чем они отличаются от агрегатных.
✅ Как с их помощью выполнять расчёты без группировки.
✅ Практические примеры: ранжирование, сравнение с предыдущей строкой, накопительные суммы и т.д.
✅ Что такое PARTITION BY и ORDER BY в контексте окон.
✅ Как оконные функции помогают упростить сложные подзапросы и JOIN-ы.
После вебинара вы сможете:
— Уверенно использовать оконные функции в повседневной работе.
— Упрощать логику отчётов и аналитических расчётов.
— Заменять сложные конструкции простыми и эффективными оконными выражениями.
— Разрабатывать запросы, в которых используются ROW_NUMBER(), LAG(), LEAD(), SUM() OVER() и др.
⏰ Оставляйте заявку на бесплатный урок и получите запись прошлого вебинара: https://vk.cc/cNdkYw
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
На вебинаре обсудим:
✅ Что такое оконные функции и чем они отличаются от агрегатных.
✅ Как с их помощью выполнять расчёты без группировки.
✅ Практические примеры: ранжирование, сравнение с предыдущей строкой, накопительные суммы и т.д.
✅ Что такое PARTITION BY и ORDER BY в контексте окон.
✅ Как оконные функции помогают упростить сложные подзапросы и JOIN-ы.
После вебинара вы сможете:
— Уверенно использовать оконные функции в повседневной работе.
— Упрощать логику отчётов и аналитических расчётов.
— Заменять сложные конструкции простыми и эффективными оконными выражениями.
— Разрабатывать запросы, в которых используются ROW_NUMBER(), LAG(), LEAD(), SUM() OVER() и др.
⏰ Оставляйте заявку на бесплатный урок и получите запись прошлого вебинара: https://vk.cc/cNdkYw
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Шардирование баз данных и проектирование систем
Шардирование базы данных — это процесс её разделения на несколько машин, что способствует масштабируемости приложения. Механизм шардирования предполагает разбиение данных на два или более мелких фрагмента, называемых логическими шардами. Затем логические блоки распределяются по отдельным узлам базы данных, называемым физическими блоками, каждый из которых может содержать несколько логических блоков.
Базы данных
Шардирование базы данных — это процесс её разделения на несколько машин, что способствует масштабируемости приложения. Механизм шардирования предполагает разбиение данных на два или более мелких фрагмента, называемых логическими шардами. Затем логические блоки распределяются по отдельным узлам базы данных, называемым физическими блоками, каждый из которых может содержать несколько логических блоков.
Базы данных
Как перейти с Oracle на PostgreSQL, используя Ora2Pg
В этой статье автор поговорит об актуальной задаче — миграции баз данных с Oracle на PostgreSQL с использованием Ora2Pg. Сейчас популярность PostgreSQL обоснована его мощностями и экономически выгодной альтернативы коммерческим решениям.
Базы данных
В этой статье автор поговорит об актуальной задаче — миграции баз данных с Oracle на PostgreSQL с использованием Ora2Pg. Сейчас популярность PostgreSQL обоснована его мощностями и экономически выгодной альтернативы коммерческим решениям.
Базы данных
Лень разбираться в PowerPoint?
Для вас уже всё сделали.
📌 Канал Секреты презентаций расскажет обо всех приёмах, возможностях и лайфхаках по работе в powerpoint.
Подписывайтесь и прокачивайте свои навыки: @powerpoint
Для вас уже всё сделали.
📌 Канал Секреты презентаций расскажет обо всех приёмах, возможностях и лайфхаках по работе в powerpoint.
Подписывайтесь и прокачивайте свои навыки: @powerpoint
Media is too big
VIEW IN TELEGRAM
Теория баз данных
В этом видеоуроке автор подробно разбирает основы баз данных.
00:55 Содержание
01:59 БД и СУБД: MySQL vs PostgreSQL
03:58 Состав БД: индексы, транзакции, триггеры
07:10 SQL vs NoSQL
11:40 Типы данных
15:27 Как описывать поля в ТЗ
17:31 Типы связей
19:55 Выбор типа поля
24:00 Как описывать связи в ТЗ
27:17 Как проектировать связи в БД
30:34 Ключи Primary и Foreign
34:30 Нормализация
36:48 Лайфхаки
39:18 Миграции, сиды, дампы
Смотреть это видео на youtube: youtu.be/YdCGGBUCoDQ
В этом видеоуроке автор подробно разбирает основы баз данных.
00:55 Содержание
01:59 БД и СУБД: MySQL vs PostgreSQL
03:58 Состав БД: индексы, транзакции, триггеры
07:10 SQL vs NoSQL
11:40 Типы данных
15:27 Как описывать поля в ТЗ
17:31 Типы связей
19:55 Выбор типа поля
24:00 Как описывать связи в ТЗ
27:17 Как проектировать связи в БД
30:34 Ключи Primary и Foreign
34:30 Нормализация
36:48 Лайфхаки
39:18 Миграции, сиды, дампы
Смотреть это видео на youtube: youtu.be/YdCGGBUCoDQ
👨💻 Гринатом в поиске системного аналитика!
Вам предстоит разрабатывать спецификации на модули продукта, формировать бэклог команды и приоритизировать задачи, проектировать интеграционные взаимодействия, оценивать компоненты приложения на зависимость и устойчивость, а также анализировать баги.
Наш идеальный кандидат обладает опытом проектирования, документирования и интеграций, работал системным аналитиком в ИТ не менее 3 лет, умеет декомпозировать крупные задачи, понимает принципы построения микросервисной архитектуры ПО и разработки Web-приложений, умеет работать с agile/scrum методологией, а также с BPMN, UML, SQL, OpenProject, Postman. Преимуществом будет опыт реализации и внедрения систем ECM, ERP, MES, CRM, HRM.
👉 Откликнуться: https://hh.ru/vacancy/121231998
Вам предстоит разрабатывать спецификации на модули продукта, формировать бэклог команды и приоритизировать задачи, проектировать интеграционные взаимодействия, оценивать компоненты приложения на зависимость и устойчивость, а также анализировать баги.
Наш идеальный кандидат обладает опытом проектирования, документирования и интеграций, работал системным аналитиком в ИТ не менее 3 лет, умеет декомпозировать крупные задачи, понимает принципы построения микросервисной архитектуры ПО и разработки Web-приложений, умеет работать с agile/scrum методологией, а также с BPMN, UML, SQL, OpenProject, Postman. Преимуществом будет опыт реализации и внедрения систем ECM, ERP, MES, CRM, HRM.
👉 Откликнуться: https://hh.ru/vacancy/121231998
hh.ru
Вакансия Системный аналитик в Москве, работа в компании Гринатом. ИТ
Зарплата: не указана. Москва. Требуемый опыт: 3–6 лет. Полная. Дата публикации: 02.06.2025.
PostgreSQL 16. Организация данных (часть 1)
Эта статья является объединением книги «PostgreSQL 16 изнутри» и официальной документации с рисунками автора, объясняющими написанное в более наглядном и простом варианте.
Базы данных
Эта статья является объединением книги «PostgreSQL 16 изнутри» и официальной документации с рисунками автора, объясняющими написанное в более наглядном и простом варианте.
Базы данных
Если ты читаешь это — у тебя всё ещё есть шанс выбраться из серой массы.
✅ Здесь говорят про деньги без соплей
✅ Бизнес — с цифрами по делу
✅ Мотивация — без «поверь в себя»
✅ Мыслить как богач — учим с нуля
Upgrade — или продолжай быть фоном в чужой истории успеха.
Жми «подписаться» и заходи. Остальные пусть скроллят дальше.
Upgrade — или продолжай быть фоном в чужой истории успеха.
Жми «подписаться» и заходи. Остальные пусть скроллят дальше.
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Основы работы в Oracle SQL Developer
В этом видеоуроке автор подробно и наглядно разбирает основы работы с бесплатной визуальной средой разработки Oracle SQL Developer, а также основные преимущества и недостатки использования данной среды.
Смотреть это видео на youtube: youtu.be/yZHAI9wfaE0
В этом видеоуроке автор подробно и наглядно разбирает основы работы с бесплатной визуальной средой разработки Oracle SQL Developer, а также основные преимущества и недостатки использования данной среды.
Смотреть это видео на youtube: youtu.be/yZHAI9wfaE0