Перевод 1 Главы - Введение в хранилища данных

Начало перевода книги "Building a Scalable Data Warehouse with Data Vault 2.0"

https://datatalks.ru/data-vault-2-0-chapter-1-introduction-to-data-warehousing/

Как быстро запустить процесс ведения каталога данных в компании. Пример DataHub - доклад Журавлевой Натальи на SmartData 2024

https://youtu.be/nCt4gYVQdqc?si=YUpGIqHB5SqCddrH

Пример создания DWH по Kimball с применением dbt

Build a Data Warehouse with dbt using Kimball’s dimensional modeling | by Haq Nawaz | Dev Genius
https://blog.devgenius.io/build-a-data-warehouse-with-dbt-using-kimballs-dimensional-modeling-59ea9bfae59f

GitHub: dbt build a datawarehouse using dimensional modeling
https://github.com/hnawaz007/dbt-dw

Перевод 3 Главы - Методология Data Vault 2.0

Подробное описание методологии Data Vault 2.0, больше с точки зрения управления проектами.

https://datatalks.ru/chapter-3-data-vault-2-0-methodology/

Smart Data 2024: Использование вероятностных структур данных для оптимизации ETL-процессов

https://youtu.be/qZ8ud40wDPU?si=RDtVMEc8vq3FGeyT

3 и 4 главы книги "Высоконагруженные приложения"

B-tree, OLAP OLTP, Hash Index. Kleppman 3 chapter

JSON, ProtoBuf, Data formats. Kleppman 4 chapter

SoftwareMill Kafka Visualization
Визуально можно увидеть, как работает кафка.

https://softwaremill.com/kafka-visualisation/


И дополнительно статья, описывающая инструмент
https://habr.com/ru/articles/865120/

#kafka

Обзор 5 главы "Replication in System Design"

Из книги "Высоконагруженные приложения"

https://youtu.be/KWIUkbcDhHc?si=Bahv3m8zf8z4qLMm

Понравилось)

Тренировки по алгоритмам от Яндекса
https://yandex.ru/yaintern/training/algorithm-training

После регистрации приходит письмо с подготовительными лекциями на YT https://youtube.com/playlist?list=PL6Wui14DvQPz_vzmNVOYBRqML6l51lP0G&si=FdTT_WhXPNZnOx46

3 ресурса для освоения GIT с интерактивными заданиями

https://learngitbranching.js.org/?locale=ru_RU - Learn Git Branching
Интерактивный тренажер, позволяющий визуализировать и отрабатывать команды Git в режиме реального времени. Подходит как для новичков, так и для опытных пользователей. ​

https://git-school.github.io/visualizing-git/ - Visualizing Git
Веб-приложение, которое наглядно демонстрирует, как различные команды Git влияют на структуру коммитов, помогая лучше понять внутренние процессы системы контроля версий.

https://ohmygit.org/ - Открытая игра, обучающая Git с помощью визуализации внутренних структур репозиториев в реальном времени. Имеет интерфейс в виде игровых карт для запоминания команд и интегрированный терминал для выполнения произвольных команд Git.

SmartData 2024: Инструменты Data Quality (Дмитрий Руднев, Т-Банк)

https://youtu.be/cWHW4RgBibw?si=oUgwRVVuN6J6lOy1

Введение в Apache Iceberg. Основы, архитектура, как работает?

Накидал базовую статейку по айсбергу. Часть материала - конспект из книги "Apache Iceberg Полное руководство" - всем, кто планирует работать с этой технологией, советую прочитать.

https://ivan-shamaev.ru/apache-iceberg-tutorial-architecture-how-to-work/

#iceberg #trino #parquet #lakehouse

Smart Data 2024: Максим Гудзикевич, Кирилл Осинцев (Yandex) — "Как навести порядок в двух эксабайтах данных?"

Интро: "В компании с быстрорастущим объемом данных ориентироваться в них становится сложнее с каждым днем. В этой ситуации помогают каталоги данных, однако информация в них, как правило, заполняется пользователями собственноручно или берется из ERM-связей небольших БД. Мы же во внутреннем DataCatalog научились автоматически на основе логов ETL-операций и ad hoc-расчетов собирать Data Lineage системы YTsaurus."

https://youtu.be/dhDU-xA_qVQ?si=3RheeeRL-Xx6Yh4w