tgoop.com/VolnaAndCode/439
Last Update:
💧 Python начинает колыхать воды… 💧
ETL для людей: понятная архитектура и работающие пайплайны
Спикер: Владимир Ефимов
📅 Когда: 20 сентября
📍 Где: коворкинг fun(c), г. Самара, ул. Скляренко, 32
🔗 Регистрация на митап в Самаре: вот тут
Данные бывают разными: структурированными и хаотичными, в базах данных, API и просто в файлах.
Если их не собирать и не приводить к единому виду - они остаются просто шумом.
Чтобы превратить этот шум в ценность, мы строим ETL-пайплайны.
В этом докладе мы разберёмся, как построить надёжный и масштабируемый ETL-процесс с нуля — от архитектуры до развёртывания в Kubernetes.
В программе:
- Эталонная архитектура ETL процессов и ключевые принципы проектирования.
- Основы Airflow и лучшие практики создания DAG-ов на Python.
Почему стоит посетить?
- Создадим один царь DAG, чтобы править всеми! 😈
- Настроим синхронизацию пайплайнов с Git-репозиторием.
- Развернём ETL в Kubernetes и напишем свой KubernetesPodOperator.
- Узнаете про лайфхаки, практические советы, боль и факапы на реальных ETL проектах.
Успей зарегистрироваться!
BY Volna&Code
Share with your friend now:
tgoop.com/VolnaAndCode/439