Курс про Apache Airflow бесплатно

Решил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курс
За то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге.

В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions.

Велком!

The ultimate guide to dbt – Count
https://count.co/blog/the-ultimate-guide-to-dbt/

Курс по dbt с нуля. Занятие 2
Особенности установки на Windows.
Запуск ClickHouse в wsl 2.

https://youtu.be/wSUbJ5lUahw?si=_Q60ad9AQYk3lpQD

Рейтинг Open-Source проектов

All Projects - OSSRank
https://ossrank.com/

GitHub - QuantumFluxx/karpov_courses: 🐳 Проектная деятельность. Здесь хранятся лекции, практические задания и проекты с karpov_courses.

https://github.com/QuantumFluxx/karpov_courses

Рулим запуском Spark-приложений в Airflow с помощью самописного оператора / Хабр
https://habr.com/ru/companies/lamoda/articles/810705/

Apache NiFi как доступный ETL инструмент: кейс применения + тестовый стенд Docker / Хабр
https://habr.com/ru/articles/813813/

Всем привет!

Ровно через 3 недели будет открыт наш курс.

Расскажем, что ждет Вас на курсе:

📚 25 разделов (начиная с 1 июля будет открываться 2 раздела каждую неделю)
✅ Более 300 тестов
📝 7 заданий с индивидуальной проверкой преподавателей
💻 Более 40 заданий на написание кода
🎥 Более 500 минут видео лекций
🏆 И, наконец, 12 финальных заданий на выбор

Подпишись на наши новости - Data Engineer
Поступи на наш курс - курс на Stepik
Напоминаем, что регистрация бесплатная! 🙏🤝

Apache Iceberg 2024
The Definitive Guide Data

Lakehouse Functionality, Performance, and Scalability on the Data Lake

DevToys (Developer Tools App) is Now Available for Linux - OMG! Ubuntu

DevToys — это бесплатное и открытое приложение, которое объединяет в себе множество полезных инструментов для разработчиков.

Основные возможности DevToys
Конвертация данных: Перевод текста в разные форматы (JSON, XML, CSV и другие) станет намного проще.
Шифрование и дешифрование: Удобные инструменты для работы с различными методами шифрования.
Генерация данных: Быстрое создание тестовых данных, UUID, хешей и т.д.
Форматирование и минификация кода: Легко привести код в читаемый вид или минимизировать его для оптимизации.
Расчёт контрольных сумм: Вычисление MD5, SHA-1 и других хешей.
Инструменты для работы с датами и временем: Конвертация временных меток, работа с таймзонами и многое другое.


https://www.omgubuntu.co.uk/2024/07/devtoys-developer-tool-now-available-on-linux

Ссылка на сам проект: https://github.com/DevToys-app/DevToys

Конвейеры данных. Карманный справочник 2024

Книга посвящена передовым методам построения конвейеров данных, сбору данных из множества разнообразных источников и преобразованию их для аналитики. Дано введение в конвейеры данных, раскрыта их работа в современном стеке данных. Описаны стандартные шаблоны конвейеров данных. Показан процесс сбора данных от их извлечения до загрузки в хранилище. Затронуты вопросы преобразования и проверки данных, оркестровки конвейеров, методов их обслуживания и мониторинга производительности. Примеры программ написаны на Python и SQL и задействуют множество библиотек с открытым исходным кодом

Data Engineer: учебное пособие для прохождения собеседования
https://tproger.ru/curriculum/data-engineer-interview-guide

📖 In Russian: cписок русскоязычных публикаций matyushkin и блокноты Jupyter для различных образовательных ресурсов.
https://github.com/matyushkin/lessons

A complete computer science study plan to become a software engineer.
https://github.com/matyushkin/lessons

Как проходит интервью по SRE T-Bank (aka Tinkoff)
https://www.tbank.ru/career/it/interview/sre/

Суть Data Vault 2.0 заключается в создании гибкой, масштабируемой и устойчивой модели данных, которая позволяет легко адаптироваться к изменениям в бизнесе и поддерживать большие объёмы данных.

Она структурирует данные в виде:
💡Хабов (Hub) — хранят ключевые сущности.
💡Линков (Link) — фиксируют связи между сущностями.
💡Сателлитов (Satellite) — содержат атрибуты и детали, которые могут изменяться со временем.

Data Vault 2.0 упрощает работу с историческими данными и обеспечивает легкую интеграцию новых источников без изменения основной структуры.

Building a Scalable Data Warehouse with Data Vault 2.0 (English) PDF

Data Vault был изобретен Дэном Линстедтом в Министерстве обороны США, и этот стандарт успешно применялся к проектам по хранению данных в организациях разных размеров, от малых до крупных корпораций. Благодаря своей упрощенной конструкции, стандарт Data Vault 2.0 помогает предотвратить типичные сбои в хранении данных.

Книга «Building a Scalable Data Warehouse with Data Vault 2.0» охватывает все, что нужно знать для создания масштабируемого хранилища данных от начала до конца, включая презентацию метода моделирования Data Vault, который обеспечивает основу для создания технического уровня хранилища данных. В книге обсуждается, как построить хранилище данных постепенно, используя гибкую методологию Data Vault 2.0. Кроме того, читатели узнают, как создать входной уровень (stage layer) и уровень представления (presentation layer - data mart) архитектуры Data Vault 2.0, включая лучшие практики внедрения.

Опираясь на многолетний практический опыт и используя многочисленные примеры и простую для понимания структуру, Дэн Линстедт и Майкл Олшимке обсуждают:
📌 Как загружать каждый слой с помощью SQL Server Integration Services (SSIS), включая автоматизацию процессов загрузки Data Vault
📌 Важные технологии и практики хранилища данных
📌 Data Quality Services (DQS) и Master Data Services (MDS) в контексте архитектуры Data Vault
📌 Книга предоставляет полное введение в хранилище данных, приложения и бизнес-контекст, чтобы читатели могли быстро приступить к работе
📌 Объясняет теоретические концепции и предоставляет практические инструкции по созданию и внедрению хранилища данных
📌 Поясняет моделирование хранилища данных с помощью начальных, средних и продвинутых методов
📌 Обсуждает преимущества подхода хранилища данных по сравнению с другими методами, включая также последние обновления Data Vault 2.0 и многочисленные улучшения Data Vault 1.0

Озера и хранилища данных становятся все более хрупкими, дорогостоящими и сложными в обслуживании по мере увеличения объема данных и ускорения их движения. Сетки данных могут помочь вашей организации децентрализовать данные, вернув право собственности на них инженерам, которые их создали. В этой книге представлен краткий, но исчерпывающий обзор моделей ячеек данных для служб потоковых данных и данных реального времени.

Алгосы с примерами на Python из 2023 🤪

Качай, читай, на собесах применяй😉