На грани ИИ: пример поиска и обработки векторов в PostgreSQL + pgvector
В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.
Базы данных
В этой статье автор на практическом примере покажет как хранить и кластеризовать векторы алгоритмом DBSCAN и искать по ним в базе данных. В примере задача с векторами на грани типичного хранения и обработки результатов работы нейросетевых моделей в базе данных.
Базы данных
Media is too big
VIEW IN TELEGRAM
Что такое CLICKHOUSE и колоночные СУБД
В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое Clickhouse
• Что такое колоночные СУБД
• Чем отличаются от обычных строковых
• Почему Clickhouse работает так быстро
• Преимущества использования
• Трудности при работе
• Для каких проектов используется
• В каких сферах используется
• Где не нужен
• Советы по работе с Clickhouse
Смотреть это видео на youtube: youtu.be/2b4heaO3U8k
В этом ролике автор дает подробные ответы на следующие вопросы:
• Что такое Clickhouse
• Что такое колоночные СУБД
• Чем отличаются от обычных строковых
• Почему Clickhouse работает так быстро
• Преимущества использования
• Трудности при работе
• Для каких проектов используется
• В каких сферах используется
• Где не нужен
• Советы по работе с Clickhouse
Смотреть это видео на youtube: youtu.be/2b4heaO3U8k
Рекомендации по ведению SQL-кода
В этом материале автор разберет общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.
Базы данных
В этом материале автор разберет общие рекомендации по ведению SQL-кода на примере СУБД MS SQL (T-SQL). Однако, многие пункты можно также применить и к другим СУБД.
Базы данных
Media is too big
VIEW IN TELEGRAM
Сортировка в SQL
В этом видеоуроке автор подробно разбирает процесс сортировки данных в SQL с использованием оператора ORDER BY.
00:00 Сортировка в SQL
01:50 Порядок сортировки: ASC, DESC
03:19 Совместное использование сортировки и фильтрации
04:21 Ограничение количества выбираемых строк
05:36 Сортировка по нескольким столбцам
06:46 SQL как английский
08:34 Итоги
Смотреть это видео на youtube: youtu.be/bYdjR6QexJY
В этом видеоуроке автор подробно разбирает процесс сортировки данных в SQL с использованием оператора ORDER BY.
00:00 Сортировка в SQL
01:50 Порядок сортировки: ASC, DESC
03:19 Совместное использование сортировки и фильтрации
04:21 Ограничение количества выбираемых строк
05:36 Сортировка по нескольким столбцам
06:46 SQL как английский
08:34 Итоги
Смотреть это видео на youtube: youtu.be/bYdjR6QexJY
Как распараллелить тесты с базой данных
Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка друг другу помешают. В этой статье автор поделится подходом, который позволил решить проблему без рефакторинга.
Базы данных
Представьте проект, в котором уже написано несколько сотен тестов. Каждый тест настраивает базу под себя: добавляет данные, вызывает truncate по окончанию. Хочется запускать тесты параллельно, чтобы ускориться, но если два теста запустить одновременно, они почти наверняка друг другу помешают. В этой статье автор поделится подходом, который позволил решить проблему без рефакторинга.
Базы данных
Практика по JOIN в SQL: упрощаем ежедневные задачи и решаем тестовое
Один из самых распространённых операторов в SQL — это JOIN. В статье автор расскажет об особенностях этого оператора: как использовать другие операторы в JOIN после ON, кроме «равно», и зачем это может быть нужно.
Базы данных
Один из самых распространённых операторов в SQL — это JOIN. В статье автор расскажет об особенностях этого оператора: как использовать другие операторы в JOIN после ON, кроме «равно», и зачем это может быть нужно.
Базы данных
Кейс миграции MS SQL Server из Azure в VK Cloud
В этом материале автор разберет опыт миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud и расскажет, как выстроить процесс, какие подводные камни встретились и что получилось в итоге.
Базы данных
В этом материале автор разберет опыт миграции PaaS MS SQL Server с гигабайтами данных из Azure в VK Cloud и расскажет, как выстроить процесс, какие подводные камни встретились и что получилось в итоге.
Базы данных
Media is too big
VIEW IN TELEGRAM
Что такое GraphQL с примерами
00:59 Что такое GraphQL и откуда он взялся
01:55 Чем GraphQL лучше, чем REST API
04:03 Графовая структура
04:45 Типы запросов
07:00 Основные концепции в GraphQL
12:07 Схема
14:09 Преимущества
Смотреть это видео на youtube: youtu.be/Xkx5wroOt7o
00:59 Что такое GraphQL и откуда он взялся
01:55 Чем GraphQL лучше, чем REST API
04:03 Графовая структура
04:45 Типы запросов
07:00 Основные концепции в GraphQL
12:07 Схема
14:09 Преимущества
Смотреть это видео на youtube: youtu.be/Xkx5wroOt7o
«PostgreSQL для начинающих»: #1 — Основы SQL
В статье: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.
Базы данных
В статье: рассказ об основах SQL, возможностях простых и сложных SELECT, анализ производительности запросов, разбор [не]эффективного применения индексов и особенностей работы транзакций и блокировок в этой СУБД.
Базы данных
Media is too big
VIEW IN TELEGRAM
План обучения SQL с нуля
SQL - главный инструмент в работе аналитика данных. Выучить SQL с нуля за месяц более чем реально. Автор составил для вас план обучения и подобрал материалы, чтобы учить SQL самостоятельно.
00:00 Как пользоваться планом
01:34 Введение, ключи, типы данных
03:32 Условие WHERE + операторы
07:21 Основные функции и условия
10:26 SQL Joins
12:59 Агрегирующие функции + GROUP BY
14:31 HAVING и ORDER BY
15:30 Подзапросы + Common Table Expressions
18:08 Оконные функции в SQL
21:14 Основные ресурсы для теории и практики
Смотреть это видео на youtube: youtu.be/YZhVmTKC9W4
SQL - главный инструмент в работе аналитика данных. Выучить SQL с нуля за месяц более чем реально. Автор составил для вас план обучения и подобрал материалы, чтобы учить SQL самостоятельно.
00:00 Как пользоваться планом
01:34 Введение, ключи, типы данных
03:32 Условие WHERE + операторы
07:21 Основные функции и условия
10:26 SQL Joins
12:59 Агрегирующие функции + GROUP BY
14:31 HAVING и ORDER BY
15:30 Подзапросы + Common Table Expressions
18:08 Оконные функции в SQL
21:14 Основные ресурсы для теории и практики
Смотреть это видео на youtube: youtu.be/YZhVmTKC9W4
Наводим порядок с базами данных. Переносим файлы в S3, мигрируем в единый кластер
В этой статье автор расскажет историю миграции баз данных в кластер и переноса тяжелых файлов в S3; в том числе о том, что пошло не по плану и об обратной стороне размещения баз в едином кластере.
Базы данных
В этой статье автор расскажет историю миграции баз данных в кластер и переноса тяжелых файлов в S3; в том числе о том, что пошло не по плану и об обратной стороне размещения баз в едином кластере.
Базы данных
Media is too big
VIEW IN TELEGRAM
Введение в SQL-инъекции
В этом ролике разберемся что такое базы данных и изучим основы SQL. Это видео первое из серии, посвященной изучению SQL-инъекций.
Смотреть это видео на youtube: youtu.be/4t16wXJXM-A
Базы данных
В этом ролике разберемся что такое базы данных и изучим основы SQL. Это видео первое из серии, посвященной изучению SQL-инъекций.
Смотреть это видео на youtube: youtu.be/4t16wXJXM-A
Базы данных
Если вы сотрудник ИТ-компании, проходите опрос о работе в сфере ИТ по ссылке. Это займёт всего пять минут.
Всех, кто ответит на все вопросы исследования до 15 сентября, в конце анкеты ждёт сюрприз — возможность получить наушники в подарок 😎
Всех, кто ответит на все вопросы исследования до 15 сентября, в конце анкеты ждёт сюрприз — возможность получить наушники в подарок 😎
Как создавать высокопроизводительные очереди сообщений с различной архитектурой
В этом материале автор рассказывает об основных сложностях развития высоконагруженных ИТ-систем и о способах их преодоления с помощью очередей сообщений на примере Tarantool Queue Enterprise.
Базы данных
В этом материале автор рассказывает об основных сложностях развития высоконагруженных ИТ-систем и о способах их преодоления с помощью очередей сообщений на примере Tarantool Queue Enterprise.
Базы данных
Статистический анализ результатов нагрузочного тестирования СУБД в условиях облачной инфраструктуры
Проведение нагрузочного тестирования и получение достоверных оценочных результатов производительности СУБД в условиях нестабильной инфраструктуры - возможно. Хотя и требует большего времени и затрат на сбор и анализ экспериментальных данных.
Базы данных
Проведение нагрузочного тестирования и получение достоверных оценочных результатов производительности СУБД в условиях нестабильной инфраструктуры - возможно. Хотя и требует большего времени и затрат на сбор и анализ экспериментальных данных.
Базы данных
Сравнительный анализ методов аппроксимации на основе SQL-запросов
В этой статье автор показывает, что для решения задач аппроксимации совсем не обязательно использовать сторонние инструменты. Если ваши экспериментальные данные хранятся в базе, и есть возможность выполнять к данным SQL запросы, значит у вас есть все необходимое, чтобы решить задачу аппроксимации.
Базы данных
В этой статье автор показывает, что для решения задач аппроксимации совсем не обязательно использовать сторонние инструменты. Если ваши экспериментальные данные хранятся в базе, и есть возможность выполнять к данным SQL запросы, значит у вас есть все необходимое, чтобы решить задачу аппроксимации.
Базы данных
Нагрузочное тестирование СУБД в облачной среде (часть 1)
Исследование гипотезы "СУБД по природе своей является стохастической, а не детерминированной системой". С целью проверки этого утверждения и в связи с началом работ по подготовке методики статистического анализа СУБД в условиях облачной среды, была начата серия экспериментов для определения влияния внешних/случайных факторов инфраструктуры на производительность СУБД.
Базы данных
Исследование гипотезы "СУБД по природе своей является стохастической, а не детерминированной системой". С целью проверки этого утверждения и в связи с началом работ по подготовке методики статистического анализа СУБД в условиях облачной среды, была начата серия экспериментов для определения влияния внешних/случайных факторов инфраструктуры на производительность СУБД.
Базы данных
Media is too big
VIEW IN TELEGRAM
Как выбирать технологии для базы данных?
В этом видео автор подробно говорит о современных задачах работы с данными, чем они отличаются и по каким критериям стоит выбирать ту или иную СУБД. Автор разберет примеры использования таких инструментов как GreenPlum, ClickHouse, Cassandra.
В результате вы узнаете маячки, на которые можно обращать внимание при выборе СУБД, и рассмотрите, какие инструменты работы с данными сейчас активно используются.
01:30 Цели и задачи вебинара
04:10 Как нам разговаривать с нашей БД?
05:19 SQL или noSQL?
08:52 Задача №1
18:00 Задача №2
25:40 Задача №3
32:40 Задача №4
39:07 Как выбрать правильный инструмент?
45:25 Последствия выбора неправильного инструмента
47:15 Сравнение с ClickHouse
48:25 Результаты
Смотреть это видео на youtube: youtu.be/hwN1k-jkvmg
В этом видео автор подробно говорит о современных задачах работы с данными, чем они отличаются и по каким критериям стоит выбирать ту или иную СУБД. Автор разберет примеры использования таких инструментов как GreenPlum, ClickHouse, Cassandra.
В результате вы узнаете маячки, на которые можно обращать внимание при выборе СУБД, и рассмотрите, какие инструменты работы с данными сейчас активно используются.
01:30 Цели и задачи вебинара
04:10 Как нам разговаривать с нашей БД?
05:19 SQL или noSQL?
08:52 Задача №1
18:00 Задача №2
25:40 Задача №3
32:40 Задача №4
39:07 Как выбрать правильный инструмент?
45:25 Последствия выбора неправильного инструмента
47:15 Сравнение с ClickHouse
48:25 Результаты
Смотреть это видео на youtube: youtu.be/hwN1k-jkvmg
Нагрузочное тестирование СУБД в облачной среде (часть 2)
Следующая серия экспериментов выполняется с использованием периода сглаживания = 1 час. Для тестирования используется стандартный инструментарий - утилита pgbench.
Базы данных
Следующая серия экспериментов выполняется с использованием периода сглаживания = 1 час. Для тестирования используется стандартный инструментарий - утилита pgbench.
Базы данных
Media is too big
VIEW IN TELEGRAM
SQL vs NoSQL: блеск и нищета реляционных СУБД
В этом видео мы погрузимся в мир реляционных систем управления базами данных. Начнем с истории их развития, затем подробно рассмотрим особенности и преимущества реляционных СУБД. Обсудим современные требования к базам данных и выявим слабые стороны реляционных систем, включая их ограничения в масштабируемости и гибкости.
00:00 Вступление
00:42 История развития СУБД
01:15 Реляционные СУБД
02:27 Новые требования к базам данных
02:55 Что не так с реляционными СУБД
03:05 CAP-теорема / теорема Брюера
05:00 Транзакционность реляционных СУБД
05:47 Как реляционные СУБД хранят данные
07:30 Жёсткие схемы в реляционных базах данных
08:25 ACID и транзакции
11:10 Big Data и другие сценарии
12:22 Итоги
Смотреть это видео на youtube: youtu.be/X7hwc-KmhaY
В этом видео мы погрузимся в мир реляционных систем управления базами данных. Начнем с истории их развития, затем подробно рассмотрим особенности и преимущества реляционных СУБД. Обсудим современные требования к базам данных и выявим слабые стороны реляционных систем, включая их ограничения в масштабируемости и гибкости.
00:00 Вступление
00:42 История развития СУБД
01:15 Реляционные СУБД
02:27 Новые требования к базам данных
02:55 Что не так с реляционными СУБД
03:05 CAP-теорема / теорема Брюера
05:00 Транзакционность реляционных СУБД
05:47 Как реляционные СУБД хранят данные
07:30 Жёсткие схемы в реляционных базах данных
08:25 ACID и транзакции
11:10 Big Data и другие сценарии
12:22 Итоги
Смотреть это видео на youtube: youtu.be/X7hwc-KmhaY