tgoop.com/get_rejected/1188
Last Update:
Как дата-инженеру проектировать хорошие ETL/ELT-процессы
ETL/ELT-процессы (они же пайплайны) — основа любой дата-инженерной системы. Именно пайплайны собирают и превращают сырые данные в структурированную информацию, на которую опираются аналитики и бизнес. Но как спроектировать процесс правильно, чтобы данные поставлялись стабильно, а пайплайны не ломались при каждом изменении на стороне источника?
На вебинаре c Георгием Семеновым разберём ключевые подходы к построению пайплайнов — разберем батч и стриминг, сравним ETL и ELT, а также посмотрим, как работают инструменты оркестрации, вроде Airflow и Dagster. Поговорим о важных инженерных деталях — партицировании, бэкфиллах, контрактах и тестах — и покажем, из чего складываются надёжные дата-процессы в крупных компаниях.
На вебинаре расскажем:
🟠 Как устроен путь данных — от источников до аналитических витрин;🟠 Чем отличаются стриминг и батч, ETL и ELT, и когда какой применять;🟠 Какие инструменты помогают строить пайплайны — разберём Airflow и Dagster;🟠 Какие нюансы важно учитывать: партицирование, бэкфиллы, контракты, тесты;🟠 Как спроектировать надёжный и легко поддерживаемый пайплайн.
🕗 Встречаемся 22 октября в 19:00 МСК
💬 Подключайтесь к эфиру, чтобы задать Георгию вопросы про архитектуру данных, ETL/ELT и тонкости построения стабильных пайплайнов.
