🤸🏻Вкатились в работу с данными и Data-инжиниринг. А что дальше?
- Управление знаниями: персональная Data-инженерная вики.
- Где и как рисовать диаграммы и схемы?
- Чат-боты и ChatOps: персональный помощник Data-инженера.
- Какие софт скиллы нужны Data-инженеру?
- Нужны ли Data-инженеру пет-проекты и участие в хакатонах?
- Как влиться в DE-комьюнити?
🌝Отвечаем на эти вопросы в видеоуроке от
Data Platform Lead и Data-разработчика.
Смотрите урок, чтобы упорядочить знания в голове и в данных проекта👉🏻 видеоурок
- Управление знаниями: персональная Data-инженерная вики.
- Где и как рисовать диаграммы и схемы?
- Чат-боты и ChatOps: персональный помощник Data-инженера.
- Какие софт скиллы нужны Data-инженеру?
- Нужны ли Data-инженеру пет-проекты и участие в хакатонах?
- Как влиться в DE-комьюнити?
🌝Отвечаем на эти вопросы в видеоуроке от
Data Platform Lead и Data-разработчика.
Смотрите урок, чтобы упорядочить знания в голове и в данных проекта👉🏻 видеоурок
Почему граф в RAG работает лучше, чем вы думаете… но не так, как вам рассказали
В RAG-решениях все чаще обращаются к графовым базам данных. В этой статье автор опишет своё мнение относительно того, в каких ситуациях графовые базы данных действительно оправданы в RAG, а в каких стоит остаться на традиционном векторном подходе.
Базы данных
В RAG-решениях все чаще обращаются к графовым базам данных. В этой статье автор опишет своё мнение относительно того, в каких ситуациях графовые базы данных действительно оправданы в RAG, а в каких стоит остаться на традиционном векторном подходе.
Базы данных
Media is too big
VIEW IN TELEGRAM
СУБД ClickHouse: настоящее и будущее
В этом видео автор поделится основными принципами и целями развития ClickHouse, отличительными чертами и преимуществами системы, которые планируют развивать. Также автор рассмотрит недостатки и неудобства системы.
Помимо этого вы познакомитесь с некоторыми новыми возможностями ClickHouse, которые раньше сложно было даже представить.
Смотреть это видео на youtube: youtu.be/qeZOT8B8QiA
В этом видео автор поделится основными принципами и целями развития ClickHouse, отличительными чертами и преимуществами системы, которые планируют развивать. Также автор рассмотрит недостатки и неудобства системы.
Помимо этого вы познакомитесь с некоторыми новыми возможностями ClickHouse, которые раньше сложно было даже представить.
Смотреть это видео на youtube: youtu.be/qeZOT8B8QiA
Хочешь разбираться в 1С?
Для тебя уже всё сделали.
⚙️ Канал 1С Hacks рассказывает обо всех возможностях, приёмах и лайфхаках по работе в 1С.
Подписывайтесь и прокачивайте свои навыки: @secrets_1C
Для тебя уже всё сделали.
⚙️ Канал 1С Hacks рассказывает обо всех возможностях, приёмах и лайфхаках по работе в 1С.
Подписывайтесь и прокачивайте свои навыки: @secrets_1C
Как оптимизировать PostgreSQL и не лишиться сна
В работе автор часто сталкивается с вопросами производительности PostgreSQL, поэтому собрал практические советы для разработчиков, инженеров и архитекторов облачной инфраструктуры. В статье вы рассмотрите, как правильно использовать индексы, анализировать планы выполнения запросов и избегать типичных ошибок при проектировании схемы.
Базы данных
В работе автор часто сталкивается с вопросами производительности PostgreSQL, поэтому собрал практические советы для разработчиков, инженеров и архитекторов облачной инфраструктуры. В статье вы рассмотрите, как правильно использовать индексы, анализировать планы выполнения запросов и избегать типичных ошибок при проектировании схемы.
Базы данных
Оптимизация запросов в ClickHouse с помощью создания цепочки материализованных представлений
Материализованное представление - это специальный тип таблицы, содержащей результат выполнения запроса к исходным данным. Этот результат фактически представляет собой кэшированное представление данных из исходных таблиц.
Базы данных
Материализованное представление - это специальный тип таблицы, содержащей результат выполнения запроса к исходным данным. Этот результат фактически представляет собой кэшированное представление данных из исходных таблиц.
Базы данных
После ухода зарубежных вендоров рынок СУБД в России стал меняться быстро и по всем фронтам. В интервью «Коду» Леонид Савченков из Yandex Cloud рассказывает, как в компании выстраивают платформу данных под эти реалии.
Ключевые фокусы — стабильность, масштабируемость и опора на open source. После закрытия Greenplum Яндекс поддерживает его последнюю открытую версию (v6) и параллельно развивает Cloudberry — активный форк в составе Apache Software Foundation.
Яндекс активно коммитит в Postgres и Clickhouse. Первым внедрил кворумную репликацию — ту самую, которую позже адаптировали AWS и Azure. Сейчас в разработке облачный сервис для шардированных инстансов Postgres.
На замену Greenplum приходит Cloudberry: проект развивается под крылом Apache, и Яндекс активно его коммитит.
Из свежего — BI-платформа DataLens получила редактор для визуализаций на JS и публичную галерею дашбордов. А YTsaurus теперь доступен как управляемый сервис — для тех, кто работает с эксабайтами.
Ключевые фокусы — стабильность, масштабируемость и опора на open source. После закрытия Greenplum Яндекс поддерживает его последнюю открытую версию (v6) и параллельно развивает Cloudberry — активный форк в составе Apache Software Foundation.
Яндекс активно коммитит в Postgres и Clickhouse. Первым внедрил кворумную репликацию — ту самую, которую позже адаптировали AWS и Azure. Сейчас в разработке облачный сервис для шардированных инстансов Postgres.
На замену Greenplum приходит Cloudberry: проект развивается под крылом Apache, и Яндекс активно его коммитит.
Из свежего — BI-платформа DataLens получила редактор для визуализаций на JS и публичную галерею дашбордов. А YTsaurus теперь доступен как управляемый сервис — для тех, кто работает с эксабайтами.
Как пройти… к третьей нормальной форме?
В литературе описывается шесть или даже больше нормальных форм, однако в большинстве случаев достаточно доведения базы данных до третьей нормальной формы. Более того, в ряде случаев, если это даёт прирост производительности, допускается отступление и от этих требований — выполняется так называемая денормализация таблиц.
Базы данных
В литературе описывается шесть или даже больше нормальных форм, однако в большинстве случаев достаточно доведения базы данных до третьей нормальной формы. Более того, в ряде случаев, если это даёт прирост производительности, допускается отступление и от этих требований — выполняется так называемая денормализация таблиц.
Базы данных
Media is too big
VIEW IN TELEGRAM
NoSQL простым языком: что это и зачем нужно?
NoSQL — тип баз данных, которые хранят данные в отличном от реляционных таблиц формате. Они узкоспециализированны для конкретных задач и нужны для улучшения производительности, масштабируемости и удобства в работе. В этом ролике автор подробно и наглядно разберёт данный тип БД.
Смотреть это видео на youtube: youtu.be/IBzTDkYNB7I
NoSQL — тип баз данных, которые хранят данные в отличном от реляционных таблиц формате. Они узкоспециализированны для конкретных задач и нужны для улучшения производительности, масштабируемости и удобства в работе. В этом ролике автор подробно и наглядно разберёт данный тип БД.
Смотреть это видео на youtube: youtu.be/IBzTDkYNB7I
⚡Открытая трансляция главного зала Saint HighLoad++ 2025!🖐️
Подключайтесь и слушайте доклады от спикеров Garage Eight, Яндекса, Сбера, Ozon и других компаний.
Saint HighLoad++ 2025 — это конференция, которая определяет будущее высоконагруженных систем. 23 и 24 июня все желающие могут бесплатно посмотреть онлайн-трансляцию главного зала. Открытую трансляцию организовали совместно с генеральным партнером конференции — Garage Eight. Garage Eight — международная продуктовая IT-компания. С 2011 года развивает экосистему высоконагруженных инвестиционных продуктов, у которых сотни тысяч пользователей в 183 странах. Продукты отмечены наградами от Global Banking and Finance Review, Global Business Magazine и World Business Stars.
Как всегда, в главном зале — топовые эксперты и самые актуальные темы.
✅ Подключайтесь!
Подключайтесь и слушайте доклады от спикеров Garage Eight, Яндекса, Сбера, Ozon и других компаний.
Saint HighLoad++ 2025 — это конференция, которая определяет будущее высоконагруженных систем. 23 и 24 июня все желающие могут бесплатно посмотреть онлайн-трансляцию главного зала. Открытую трансляцию организовали совместно с генеральным партнером конференции — Garage Eight. Garage Eight — международная продуктовая IT-компания. С 2011 года развивает экосистему высоконагруженных инвестиционных продуктов, у которых сотни тысяч пользователей в 183 странах. Продукты отмечены наградами от Global Banking and Finance Review, Global Business Magazine и World Business Stars.
Как всегда, в главном зале — топовые эксперты и самые актуальные темы.
✅ Подключайтесь!
PondPilot: как мы сделали локальный SQL-редактор в браузере на DuckDB и WASM
Любой, кто хоть раз пытался «по-быстрому» проанализировать CSV-файл или прототип БД, сталкивался с выбором из неудобств: открывать в Excel, запускать Jupyter, возиться с pandas, или поднимать Postgres/ClickHouse ради пары запросов. Автору показалось странным, что до сих пор нет удобной zero-setup SQL-песочницы для локальных данных.
Базы данных
Любой, кто хоть раз пытался «по-быстрому» проанализировать CSV-файл или прототип БД, сталкивался с выбором из неудобств: открывать в Excel, запускать Jupyter, возиться с pandas, или поднимать Postgres/ClickHouse ради пары запросов. Автору показалось странным, что до сих пор нет удобной zero-setup SQL-песочницы для локальных данных.
Базы данных
Консолидация баз данных: этапы, методы и примеры
Сейчас во всём мире объёмы данных растут с невероятной скоростью, и чтобы эффективно использовать их потенциал, требуется правильное хранение и управление информацией. Одним из наиболее эффективных способов решения этой проблемы является консолидация баз данных. В этой статье автор разберет, какую пользу может принести консолидация баз данных и как её провести на практике.
Базы данных
Сейчас во всём мире объёмы данных растут с невероятной скоростью, и чтобы эффективно использовать их потенциал, требуется правильное хранение и управление информацией. Одним из наиболее эффективных способов решения этой проблемы является консолидация баз данных. В этой статье автор разберет, какую пользу может принести консолидация баз данных и как её провести на практике.
Базы данных
Аналитик данных — это специалист, который добывает ценную информацию из достоверных данных, чтобы бизнес мог принимать обоснованные решения.
Для этого используются те же инструменты, что и для самого анализа — Python, SQL, математическая статистика и автоматизация процессов.
Присоединяйтесь к нашему вебинару, где разберём:
Спикер: Павел Беляев, руководитель группы дата-аналитиков в компании Яндекс eLama.
📅 Встречаемся 24 июня в 18:30 по МСК
Please open Telegram to view this post
VIEW IN TELEGRAM
Реляционные vs Связанные данные
В этой статье автор разберет, что такое реляционная модель и связанные с ней SQL и реляционная алгебра. Вы рассмотрите примеры связанных данных из Викидата, а далее RDF, SPARQL и узнаете про Datalog и логическое представление данных. В конце статьи выводы — когда применять реляционную модель, а когда связно-логическую.
Базы данных
В этой статье автор разберет, что такое реляционная модель и связанные с ней SQL и реляционная алгебра. Вы рассмотрите примеры связанных данных из Викидата, а далее RDF, SPARQL и узнаете про Datalog и логическое представление данных. В конце статьи выводы — когда применять реляционную модель, а когда связно-логическую.
Базы данных
Почерк Успеха — канал для тех, кто стремится к финансовой свободе и осознанному росту.
Если вы хотите:
• Научиться управлять личными финансами
• Разобраться в инвестициях без сложной теории
• Избежать типичных финансовых ошибок
• Строить капитал с нуля — без мифов и иллюзий
Тогда вы по адресу: https://www.tgoop.com/+aNq9rclfg7MyMDNi
Здесь публикуются короткие, практичные материалы: финансовые принципы, реальные кейсы, аналитика, рекомендации от опытных специалистов.
Почерк Успеха — это грамотный подход к деньгам, мышлению и будущему.
Если вы хотите:
• Научиться управлять личными финансами
• Разобраться в инвестициях без сложной теории
• Избежать типичных финансовых ошибок
• Строить капитал с нуля — без мифов и иллюзий
Тогда вы по адресу: https://www.tgoop.com/+aNq9rclfg7MyMDNi
Здесь публикуются короткие, практичные материалы: финансовые принципы, реальные кейсы, аналитика, рекомендации от опытных специалистов.
Почерк Успеха — это грамотный подход к деньгам, мышлению и будущему.
Media is too big
VIEW IN TELEGRAM
Иерархические (рекурсивные) запросы
При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.
Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE
При построении SQL-запросов иногда может потребоваться соединение таблицы с самой собой. Например, если таблица содержит список сотрудников с указанием должностной подчиненности, или филиалов и входящих в них под-филиалов, то можно вывести всю иерархию одним запросом, дописав всего лишь несколько слов. В этом видеоуроке автор подробно разбирает такие иерархические (рекурсивные) запросы.
Смотреть это видео на youtube: youtu.be/9_MuOe6KrmE
🔥 Научитесь работать с базами данных и анализировать данные на новом уровне! Курс «SQL для разработчиков и аналитиков» подходит как для новичков, так и для опытных специалистов.
✅ Вы изучите основы реляционных БД, научитесь создавать сложные SQL-запросы, работать с различными СУБД (PostgreSQL, MySQL, SQL Server) и оптимизировать запросы для повышения производительности.
✅ Вы освоите как базовый, так и продвинутый синтаксис SQL. Применяйте эти навыки для решения реальных задач.
⏰ Набор скоро закроется, не упустите шанс прокачать свои навыки и открыть новые перспективы для карьерного роста. Пройдите тест и получите скидку на обучение: https://vk.cc/cNbyBC
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
✅ Вы изучите основы реляционных БД, научитесь создавать сложные SQL-запросы, работать с различными СУБД (PostgreSQL, MySQL, SQL Server) и оптимизировать запросы для повышения производительности.
✅ Вы освоите как базовый, так и продвинутый синтаксис SQL. Применяйте эти навыки для решения реальных задач.
⏰ Набор скоро закроется, не упустите шанс прокачать свои навыки и открыть новые перспективы для карьерного роста. Пройдите тест и получите скидку на обучение: https://vk.cc/cNbyBC
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Как провести нагрузочное тестирование БД PostgreSQL и ничего не забыть
При нагрузочном тестировании баз данных PostgreSQL с использованием стандартного инструмента pgbench отсутствие фиксации деталей окружения (таких как конфигурация СУБД, характеристики сервера, версии ПО) часто приводит к нерепрезентативным результатам и необходимости повторных тестов. В этой статье рассматривается разработанный автором инструмент pg_perfbench, который призван решить эту проблему.
Базы данных
При нагрузочном тестировании баз данных PostgreSQL с использованием стандартного инструмента pgbench отсутствие фиксации деталей окружения (таких как конфигурация СУБД, характеристики сервера, версии ПО) часто приводит к нерепрезентативным результатам и необходимости повторных тестов. В этой статье рассматривается разработанный автором инструмент pg_perfbench, который призван решить эту проблему.
Базы данных
🚨 Не пропустите 02 июля в 20:00 бесплатный вебинар “SQL: Оконные функции — когда GROUP BY уже не хватает” от курса “SQL для аналитиков и разработчиков”.
На вебинаре обсудим:
✅ Что такое оконные функции и чем они отличаются от агрегатных.
✅ Как с их помощью выполнять расчёты без группировки.
✅ Практические примеры: ранжирование, сравнение с предыдущей строкой, накопительные суммы и т.д.
✅ Что такое PARTITION BY и ORDER BY в контексте окон.
✅ Как оконные функции помогают упростить сложные подзапросы и JOIN-ы.
После вебинара вы сможете:
— Уверенно использовать оконные функции в повседневной работе.
— Упрощать логику отчётов и аналитических расчётов.
— Заменять сложные конструкции простыми и эффективными оконными выражениями.
— Разрабатывать запросы, в которых используются ROW_NUMBER(), LAG(), LEAD(), SUM() OVER() и др.
⏰ Оставляйте заявку на бесплатный урок и получите запись прошлого вебинара: https://vk.cc/cNdkYw
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
На вебинаре обсудим:
✅ Что такое оконные функции и чем они отличаются от агрегатных.
✅ Как с их помощью выполнять расчёты без группировки.
✅ Практические примеры: ранжирование, сравнение с предыдущей строкой, накопительные суммы и т.д.
✅ Что такое PARTITION BY и ORDER BY в контексте окон.
✅ Как оконные функции помогают упростить сложные подзапросы и JOIN-ы.
После вебинара вы сможете:
— Уверенно использовать оконные функции в повседневной работе.
— Упрощать логику отчётов и аналитических расчётов.
— Заменять сложные конструкции простыми и эффективными оконными выражениями.
— Разрабатывать запросы, в которых используются ROW_NUMBER(), LAG(), LEAD(), SUM() OVER() и др.
⏰ Оставляйте заявку на бесплатный урок и получите запись прошлого вебинара: https://vk.cc/cNdkYw
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Шардирование баз данных и проектирование систем
Шардирование базы данных — это процесс её разделения на несколько машин, что способствует масштабируемости приложения. Механизм шардирования предполагает разбиение данных на два или более мелких фрагмента, называемых логическими шардами. Затем логические блоки распределяются по отдельным узлам базы данных, называемым физическими блоками, каждый из которых может содержать несколько логических блоков.
Базы данных
Шардирование базы данных — это процесс её разделения на несколько машин, что способствует масштабируемости приложения. Механизм шардирования предполагает разбиение данных на два или более мелких фрагмента, называемых логическими шардами. Затем логические блоки распределяются по отдельным узлам базы данных, называемым физическими блоками, каждый из которых может содержать несколько логических блоков.
Базы данных