tgoop.com/systems_design_online/33
Last Update:
Выложили запись доклада Дарьи Колесовой на тему «Стриминговые фреймворки: Apache Flink»
На конференции Systems Design выступила Даша Колесова, Data Engineer, которая провела доклад о стриминговых фреймворках, сосредоточившись на Apache Flink. Она рассмотрела use cases, работу со state, распределение ресурсов и выделила ключевые аспекты при проектировании стриминговых архитектур.
Тайм-кол доклада:
00:00 О докладе
01:15 Смысл стриминговых фреймворков
05:30 Фреймворк Apache Flink
10:18 Use cases в Apache Flink
14:40 State в Apache Flink
20:00 Распределение ресурсов
22:28 Выводы: что учитывать при проектировании?
24:35 В чём отличие bounded-потока от batch-передачи?
26:12 В чем разница между at least once и exactly one в стриминге?
28:48 Аналогичен DAG в Apache AirFlow и в Apache Flink?
29:18 Какие могут быть последствия при применении Apache Flink (вместо Spark) на уровне DWH?
32:55 Состояние можно передать из оператора в оператора только через третье хранилище или возможно напрямую?
34:00 Можно сказать, что Apache Flink - это что-то между Apache Spark Streams и Apache Airflow?
35:13 Из каких этапов состоит проектирование?
Посмотреть можно на нашем YouTube-канале
#вебинар
BY Systems Design: онлайн-конференция по проектированию информационных систем для бизнеса
Share with your friend now:
tgoop.com/systems_design_online/33