Яндекс продолжает добавлять новую функциональность в СУБД собственной разработки. Компания анонсировала запуск нового компонента системы – YDB DWH. Он поддерживает аналитическую обработку данных.
С новым компонентом СУБД Яндекса может работать со сложными аналитическими запросами (OLAP) и способна хранить сотни терабайт данных. Платформа горизонтально масштабируется за счет автоматического партиционирования по объему и нагрузке, а МРР-архитектура позволяет быстро выполнять запросы.
Помимо YDB DWH, в надстройках системы также есть шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы – YDB Enterprise, он отвечает за обработку транзакций.
С новым компонентом СУБД Яндекса может работать со сложными аналитическими запросами (OLAP) и способна хранить сотни терабайт данных. Платформа горизонтально масштабируется за счет автоматического партиционирования по объему и нагрузке, а МРР-архитектура позволяет быстро выполнять запросы.
Помимо YDB DWH, в надстройках системы также есть шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы – YDB Enterprise, он отвечает за обработку транзакций.
Media is too big
VIEW IN TELEGRAM
Курс Mongo DB для начинающих
В этом видеоуроке автор на практике подробно рассматривает СУБД Mongo DB.
00:00 Теория
00:25 Что представляет из себя Mongo DB?
02:10 Создание, удаление, использование баз данных
03:20 Добавление документа в коллекцию
04:00 Поиск документов в коллекции
05:10 Поиск по критериям
07:20 Сортировка
08:50 Обновление документов в коллекции
10:10 Переименование полей документа
10:40 Удаление документа из коллекции
11:10 Множественный запрос
12:32 Типы связей
16:15 Подключение Mongo к Node js
Смотреть это видео на youtube: youtu.be/LNvmI8a9jwY
В этом видеоуроке автор на практике подробно рассматривает СУБД Mongo DB.
00:00 Теория
00:25 Что представляет из себя Mongo DB?
02:10 Создание, удаление, использование баз данных
03:20 Добавление документа в коллекцию
04:00 Поиск документов в коллекции
05:10 Поиск по критериям
07:20 Сортировка
08:50 Обновление документов в коллекции
10:10 Переименование полей документа
10:40 Удаление документа из коллекции
11:10 Множественный запрос
12:32 Типы связей
16:15 Подключение Mongo к Node js
Смотреть это видео на youtube: youtu.be/LNvmI8a9jwY
ZIP-бомба в формате Apache Parquet
Исторически ZIP-бомба представляла собой архивный файл, при распаковке которого можно вызвать зависание операционной системы или рабочего приложения путём заполнения всего свободного места на носителе или оперативной/рабочей памяти. В этом смысле её можно считать разновидностью DoS-атаки.
Базы данных
Исторически ZIP-бомба представляла собой архивный файл, при распаковке которого можно вызвать зависание операционной системы или рабочего приложения путём заполнения всего свободного места на носителе или оперативной/рабочей памяти. В этом смысле её можно считать разновидностью DoS-атаки.
Базы данных
Media is too big
VIEW IN TELEGRAM
Основы SQL
В этом ролике автор рассматривает на практике работу с основными командами языка запросов SQL.
00:00 Подготовка базы данных
04:36 Выбор данных (SELECT)
08:30 Указание текущей базы данных
09:58 Чувствительность к регистру
12:14 Выбор определенных колонок
15:28 Фильтрация с помощью WHERE
20:59 Фильтрация с И и ИЛИ
26:38 Поиск строки по шаблону
29:18 Свой среди чужих
31:26 NULL когда данные отсутствуют
34:27 Сортировка данных
38:37 Добавление записей
45:36 Обновление данных
52:32 Удаление данных
Смотреть это видео на youtube: youtu.be/WhzZZqoM-AY
В этом ролике автор рассматривает на практике работу с основными командами языка запросов SQL.
00:00 Подготовка базы данных
04:36 Выбор данных (SELECT)
08:30 Указание текущей базы данных
09:58 Чувствительность к регистру
12:14 Выбор определенных колонок
15:28 Фильтрация с помощью WHERE
20:59 Фильтрация с И и ИЛИ
26:38 Поиск строки по шаблону
29:18 Свой среди чужих
31:26 NULL когда данные отсутствуют
34:27 Сортировка данных
38:37 Добавление записей
45:36 Обновление данных
52:32 Удаление данных
Смотреть это видео на youtube: youtu.be/WhzZZqoM-AY
Кэшируем поток данных из Kafka в Tarantool: подробный пример реализации с кодом и результатами
В этой статье автор расскажет о том, как можно наладить взаимодействие Kafka и Tarantool, зачем может понадобиться кэширование потока из Kafka в Tarantool, и даст подробную пошаговую инструкцию, с которой каждый сможет применить эти наработки в собственной системе.
Базы данных
В этой статье автор расскажет о том, как можно наладить взаимодействие Kafka и Tarantool, зачем может понадобиться кэширование потока из Kafka в Tarantool, и даст подробную пошаговую инструкцию, с которой каждый сможет применить эти наработки в собственной системе.
Базы данных
Как мы сократили потребление ресурсов без потери производительности благодаря exactly-once
В этой статье автор расскажет, как в его компании решили задачу объединения двух топиков с соотношением один ко многим и почему не устроило решение на Kafka-streams и RocksDB. А также о том, как, опираясь на гарантии доставки exactly-once, смогли снизить требования к ресурсам в несколько раз.
Базы данных
В этой статье автор расскажет, как в его компании решили задачу объединения двух топиков с соотношением один ко многим и почему не устроило решение на Kafka-streams и RocksDB. А также о том, как, опираясь на гарантии доставки exactly-once, смогли снизить требования к ресурсам в несколько раз.
Базы данных
Аналитики с диапазонами дат в MS SQL
Развернув разработчику обратно очередной Pull Request с поиском по аналитике, принимающей разные значения в разные промежутки времени, автор решил обсудить этот вопрос на планерке. И был удивлен, что подавляющее большинство разработчиков не понимают, как эффективно искать на SQL в таких случаях. В итоге автор решил написать эту статью.
Базы данных
Развернув разработчику обратно очередной Pull Request с поиском по аналитике, принимающей разные значения в разные промежутки времени, автор решил обсудить этот вопрос на планерке. И был удивлен, что подавляющее большинство разработчиков не понимают, как эффективно искать на SQL в таких случаях. В итоге автор решил написать эту статью.
Базы данных
Media is too big
VIEW IN TELEGRAM
Условный оператор CASE в SQL
В этом видеоуроке автор подробно и наглядно разберет оператор CASE в SQL. CASE — это условный оператор, который позволяет осуществлять проверку и возвращать результат, который зависит от того, какое условие выполнено.
Смотреть это видео на youtube: youtu.be/d-tY8vm_SHM
В этом видеоуроке автор подробно и наглядно разберет оператор CASE в SQL. CASE — это условный оператор, который позволяет осуществлять проверку и возвращать результат, который зависит от того, какое условие выполнено.
Смотреть это видео на youtube: youtu.be/d-tY8vm_SHM
Как обновить PostgreSQL и не потерять данные: метод минимизации простоя
Недавно автору этой статьи потребовалось обновить кластер PostgreSQL, который обрабатывает более 20 000 транзакций в секунду и состоит из мастера и реплики, с версии 13 до 16 с минимальным простоем. Помимо перехода на более актуальную версию, это решало и ряд существующих проблем, связанных с производительностью и поддержкой.
Базы данных
Недавно автору этой статьи потребовалось обновить кластер PostgreSQL, который обрабатывает более 20 000 транзакций в секунду и состоит из мастера и реплики, с версии 13 до 16 с минимальным простоем. Помимо перехода на более актуальную версию, это решало и ряд существующих проблем, связанных с производительностью и поддержкой.
Базы данных
DataHub: веб-песочница для тех, кто изучает SQL
В этой статье автор разберет на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.
Базы данных
В этой статье автор разберет на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.
Базы данных
Интернационализация баз данных с доступом через ORM
IT-сообщество использует различные способы хранения многоязычных данных. Способы эти кардинально различаются эффективностью запросов, устойчивостью к добавлению новых локализаций, объемом данных, удобством для приложения-потребителя. Однако в индустрии все еще нет решения Database Internationalization for Dummies. В этой статье автор попробует немного заполнить этот пробел: опишет возможные способы, оценит их преимущества и недостатки и выберет эффективные.
Базы данных
IT-сообщество использует различные способы хранения многоязычных данных. Способы эти кардинально различаются эффективностью запросов, устойчивостью к добавлению новых локализаций, объемом данных, удобством для приложения-потребителя. Однако в индустрии все еще нет решения Database Internationalization for Dummies. В этой статье автор попробует немного заполнить этот пробел: опишет возможные способы, оценит их преимущества и недостатки и выберет эффективные.
Базы данных
Media is too big
VIEW IN TELEGRAM
NoSQL для начинающих
В этом видео автор подробно и наглядно разбирает теорию и практику NoSQL баз данных для начинающих, на примере MongoDB.
00:00 Что такое NoSQL и где он применяется?
04:18 Основные виды NoSQL
06:04 Дополнительные темы
09:31 SQL vs NoSQL
11:53 MongoDB
14:37 Практика
Смотреть это видео на youtube: youtu.be/bEpIZfOxItU
В этом видео автор подробно и наглядно разбирает теорию и практику NoSQL баз данных для начинающих, на примере MongoDB.
00:00 Что такое NoSQL и где он применяется?
04:18 Основные виды NoSQL
06:04 Дополнительные темы
09:31 SQL vs NoSQL
11:53 MongoDB
14:37 Практика
Смотреть это видео на youtube: youtu.be/bEpIZfOxItU
Большой гайд по миграциям в Django: полезные советы и обход типичных подводных камней
В этой статье автор разберет фиктивное применение, data-миграции, «сухую проверку» и основные проблемы, которые возникают у начинающих. А также поделится полезными советами и подсветит тонкости работы.
Базы данных
В этой статье автор разберет фиктивное применение, data-миграции, «сухую проверку» и основные проблемы, которые возникают у начинающих. А также поделится полезными советами и подсветит тонкости работы.
Базы данных
Партиционированный Postgres: немного о проблемах с лимитами
В то время как пользователи видят позитивные стороны технологий, разработчики обычно сталкиваются с ограничениями/недоработками/багами и видят продукт с совсем другой стороны. Вот и в этот раз: после публикации результатов сравнительного тестирования, где прогонялись запросы теста Join-Order-Benchmark на базе с партициями и без, автора не отпускало ощущение, что при наличии партиций постгрес должен строить план хуже, чем без них. И это должен быть не просто баг, а технологическое ограничение.
Базы данных
В то время как пользователи видят позитивные стороны технологий, разработчики обычно сталкиваются с ограничениями/недоработками/багами и видят продукт с совсем другой стороны. Вот и в этот раз: после публикации результатов сравнительного тестирования, где прогонялись запросы теста Join-Order-Benchmark на базе с партициями и без, автора не отпускало ощущение, что при наличии партиций постгрес должен строить план хуже, чем без них. И это должен быть не просто баг, а технологическое ограничение.
Базы данных
Знакомство со слоем абстракции Netflix для хранения временных рядов
Netflix продолжает расширять бизнес и диверсифицироваться в различных направлениях, вроде доставки видео по запросу и гейминга. В результате всё важнее становятся технологии, обеспечивающие загрузку временных (темпоральных) данных в системы компании и их хранение.
Базы данных
Netflix продолжает расширять бизнес и диверсифицироваться в различных направлениях, вроде доставки видео по запросу и гейминга. В результате всё важнее становятся технологии, обеспечивающие загрузку временных (темпоральных) данных в системы компании и их хранение.
Базы данных
Media is too big
VIEW IN TELEGRAM
Введение в PostgreSQL
В этом видеоуроке автор дает общее представление о PostgreSQL и его архитектуре. Вы разберете процесс установки, базовой настройки и запуска СУБД, процесс управления пользователями, данными и доступом, базовые задачи сопровождения и мониторинга СУБД, а также резервное копирование и восстановление.
00:37 Что такое PostgreSQL
02:39 Основные свойства
07:32 История развития
10:50 Форки PostgreSQL
21:24 Цикл разработки
29:05 Новые возможности
Смотреть это видео на youtube: youtu.be/e2K_-uoqvaM
В этом видеоуроке автор дает общее представление о PostgreSQL и его архитектуре. Вы разберете процесс установки, базовой настройки и запуска СУБД, процесс управления пользователями, данными и доступом, базовые задачи сопровождения и мониторинга СУБД, а также резервное копирование и восстановление.
00:37 Что такое PostgreSQL
02:39 Основные свойства
07:32 История развития
10:50 Форки PostgreSQL
21:24 Цикл разработки
29:05 Новые возможности
Смотреть это видео на youtube: youtu.be/e2K_-uoqvaM
Авторизация в PostgreSQL через доменные группы
Красивой схемы раздачи прав через группы без написания расширений у автора не получилось, но даже реализованное решение сильно упростило жизнь.
Базы данных
Красивой схемы раздачи прав через группы без написания расширений у автора не получилось, но даже реализованное решение сильно упростило жизнь.
Базы данных
Божественная K-V таблица для мелочей
Во времена пика интереса к NoSQL базам данных простоватые K-V хранилища были несколько обойдены вниманием - отчасти это понятно, вещь не очень "инновационная", можно даже сказать старинная. В то же время своя "ниша" у них находится до сих пор.
Базы данных
Во времена пика интереса к NoSQL базам данных простоватые K-V хранилища были несколько обойдены вниманием - отчасти это понятно, вещь не очень "инновационная", можно даже сказать старинная. В то же время своя "ниша" у них находится до сих пор.
Базы данных
Media is too big
VIEW IN TELEGRAM
Вся база SQL для начинающих
В этом видео автор расскажет всё, что нужно знать про основы SQL.
0:01:45 БД и SQL
0:11:52 Создание таблиц
0:21:48 INSERT/UPDATE/DELETE
0:34:26 SELECT
0:39:50 FOREIGN KEY
0:46:22 JOIN
1:01:00 Агрегатные функции, GROUP BY
1:09:20 HAVING
1:13:09 Изменение таблиц
Смотреть это видео на youtube: youtu.be/5sG9kmXYsKU
В этом видео автор расскажет всё, что нужно знать про основы SQL.
0:01:45 БД и SQL
0:11:52 Создание таблиц
0:21:48 INSERT/UPDATE/DELETE
0:34:26 SELECT
0:39:50 FOREIGN KEY
0:46:22 JOIN
1:01:00 Агрегатные функции, GROUP BY
1:09:20 HAVING
1:13:09 Изменение таблиц
Смотреть это видео на youtube: youtu.be/5sG9kmXYsKU
PostgreSQL — особенности работы с памятью для 1С-систем (часть 2)
Продолжаем исследовать и настраивать память в PostgreSQL. В первой части автор рассмотрел параметры shared_buffers, maintenance_work_mem, autovacuum_work_mem. А сегодня на повестке параметры temp_buffers и work_mem.
Базы данных
Продолжаем исследовать и настраивать память в PostgreSQL. В первой части автор рассмотрел параметры shared_buffers, maintenance_work_mem, autovacuum_work_mem. А сегодня на повестке параметры temp_buffers и work_mem.
Базы данных