Процесс ETL с использованием Airflow и Docker

В этой статье я создам процесс ETL для извлечения данных Forex и оберну все это в виде конвейера данных, используя Airflow и Docker.

Процесс ETL будет извлекать данные из API fixer.io , преобразовывать их и загружать в базу данных PostgreSQL. Этот проект направлен на создание автоматизированного процесса, который постоянно загружает данные в базу данных PostgreSQL. Каждые 2 минуты процесс ETL загружает обновленный пакет данных Forex. https://blog.devgenius.io/etl-process-using-airflow-and-docker-226aa5c7a41a

Система реляционных баз данных с искусственным интеллектом | SQL встречает глубокое обучение

EVA — это система баз данных для создания более простых и быстрых приложений на основе ИИ.

https://github.com/georgia-tech-db/eva

Почему MySQL не использует мой индекс?

Один из самых неприятных моментов при работе с базами данных — это когда вы разработали идеальный индекс , но MySQL по-прежнему его не использует. Есть несколько причин, по которым это может быть так, и в этой статье мы рассмотрим некоторые из наиболее распространенных.

https://planetscale.com/blog/why-isnt-mysql-using-my-index

Правильная загрузка инкрементных данных в масштабе

В этом посте я надеюсь демистифицировать дополнительные нагрузки. Я рассмотрю несколько методов постепенной загрузки, а также некоторые расширенные варианты использования. Даже если вы не обрабатываете терабайты данных, конвейеры данных могут стать намного эффективнее, экономя ваше время и деньги. https://medium.com/data-engineer-things/correctly-loading-incremental-data-at-scale-c656704da86d

Раскройте секреты поврежденных индексов MySQL

У одного из наших клиентов недавно был поврежден индекс, который повлиял на работоспособность его базы данных и вызвал задержку для его клиентов. Чтобы определить и обработать поврежденный индекс в MySQL, вот несколько часто задаваемых вопросов: https://www.eversql.com/mysql-corrupted-index/

Как «лайки» в социальных сетях хранятся в базе данных

Вы когда-нибудь задумывались о том, как Instagram, Twitter, Facebook или любые платформы социальных сетей отслеживают, кому понравились ваши посты? Давайте разберемся в этом посте!
https://dev.to/danielhe4rt/database-101-how-social-media-likes-are-stored-in-a-database-3oii

Вот мои 10 лучших советов по оптимизации ваших SQL-запросов.

Эй там! Я здесь, чтобы поговорить об оптимизации SQL-запросов. 😊

https://blog.devgenius.io/here-are-my-top-10-tips-for-optimizing-your-sql-queries-5563272f3c79

27 лучших синтаксиса SQL для разработчиков

SQL — декларативный язык, поэтому его синтаксис читается как естественный язык. Оператор SQL начинается с глагола, описывающего действие, например, SELECT, INSERT, UPDATE или DELETE. После глагола идут подлежащее и сказуемое.

Синтаксис языка структурированных запросов представляет собой уникальный набор правил и рекомендаций, в которых не учитывается регистр. Его синтаксис определяется и поддерживается стандартами ISO и ANSI.
https://morioh.com/p/27dd41b0d365?f=5c21fb01c16e2556b555ab32

Ниже приведены некоторые наиболее важные моменты о синтаксисе SQL, которые следует помнить:

Расширенные стратегии индексирования в PostgreSQL

Когда запрос выполняется, PostgreSQL просматривает доступные индексы, чтобы определить, можно ли использовать какой-либо из них для выполнения условия запроса. Если он находит соответствующий индекс, PostgreSQL использует его для быстрой идентификации соответствующих строк в таблице. Это приводит к значительному ускорению запросов, особенно в ситуациях, когда таблицы большие или условия сложные.

PostgreSQL поддерживает несколько типов индексов, включая B-tree, hash, GiST, SP-GiST и BRIN. Каждый тип индекса предназначен для обслуживания различных типов запросов и шаблонов доступа к данным. https://www.freecodecamp.org/news/postgresql-indexing-strategies/

Менеджер пакетов базы данных

Для доверенных языковых расширений PostgreSQL (TLE)

https://database.dev/

Подготовьтесь к собеседованиям по SQL, используя SQL Cheatsheet

Порядок операций SQL
В этой статье мы увидим, каков стандартный порядок операций SQL. https://vladmihalcea.com/sql-operation-order/

Миграция с Supabase
За последние пару недель мы перенесли Val Town с Supabase на более простую базу данных Render . Мы получили несколько вопросов по этому поводу, поэтому мы хотели поделиться тем, что послужило мотивом для перехода, чему мы научились и как нам это удалось. https://blog.val.town/blog/migrating-from-supabase

Памятка PostgreSQL JSONB: полное и быстрое руководство по поиску
Эта шпаргалка по PostgreSQL JSONB представляет собой полное руководство по функциям PostgreSQL JSONB с примерами и демонстрационным кодом. https://dzone.com/articles/postgresql-jsonb-cheatsheet-complete-and-fast-look

5 главных синтаксических странностей, о которых нужно знать в MongoDB

В наши дни довольно популярны гневные посты о MongoDB. Большинство из них касаются низкой производительности на определенных наборах данных, проблем с надежностью и сегментированием. Некоторые из этих сообщений в блогах могут быть правильными, другие просто говорят, что самое популярное решение NoSQL не соответствует их потребностям.

Эта статья не из таких. В то время как большинство постов сосредоточено на операционной части, тестах и ​​характеристиках производительности, я хочу немного поговорить об интерфейсах запросов MongoDB. Правильно - программные интерфейсы, особенно для собственного драйвера node.js, но они почти идентичны для разных драйверов платформы и Mongo-shell.

https://devblog.me/wtf-mongo.html

Объяснение sql 😁

В этой статье мы демонстрируем мощный новый механизм запросов ( SQLAutoVectorQueryEngine) в LlamaIndex, который может использовать как базу данных SQL, так и векторное хранилище для выполнения сложных запросов на естественном языке по сочетанию структурированных и неструктурированных данных. Этот механизм запросов может использовать выразительность SQL для структурированных данных и объединять их с неструктурированным контекстом из векторной базы данных. Мы продемонстрируем этот механизм запросов на нескольких примерах и покажем, что он может обрабатывать запросы, использующие как структурированные, так и неструктурированные данные, или и то, и другое.
https://shly.link/mdmudhD

Многопоточные соединения с SQL

Узнайте, как объединять два или более потоков данных вместе в режиме реального времени с потоковой базой данных, выполнять SQL-запросы
https://shly.link/L58De

Этот ПОЛНЫЙ курс по SQL. В этом видео рассказывается, как писать SQL с использованием MS SQL Server и SQL Server Management Studio. Мы проходим через Создание базы данных, Создание таблиц, Вставку, Обновление, Удаление, Выбор, Группировку, Суммирование, Индексирование, Объединение и все основные действия, необходимые для начала написания SQL. https://www.youtube.com/watch?v=wI4HWGlI6gM

Временная таблица SQL — как создать временную таблицу SQL

Временные таблицы создаются «на лету» и обычно используются для выполнения сложных вычислений, хранения промежуточных результатов или управления подмножествами данных во время выполнения запроса или серии запросов. https://www.freecodecamp.org/news/sql-temp-table-how-to-create-a-temporary-sql-table/