HighLoad++

Обработка потоковых данных — важная составляющая многих высоконагруженных систем. В категории «Стриминг и обработка потоковых данных» объединены доклады о технологиях и практиках работы с потоковыми данными ⤵️

1) Архитектура сбора продакшен-трафика для нагрузочного тестирования: 10 000 микросервисов и 30 млрд запросов в Ozon. Евгений Кузышин (Ozon)

Как собрать трафик в реальном времени с 10 000 микросервисов в Оzon для ежедневных нагрузочных тестов, превращая 30 млрд запросов в супероружие для проверки системы. Докладчик поделится практическими решениями и реальными инсайтами по организации масштабируемой системы сбора трафика.

* Реальный опыт масштабирования системы сбора и обработки данных.

2) 10k метрик, 500 A/B-экспериментов и 500kk p-value каждый день. Как это возможно? Данила Леньков (Авито)

Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.

* Обработка огромных объемов аналитических данных в реальном времени — сложная техническая задача.

3) Сравнение масштабируемости Kafka и YDB Topics. Андрей Серебрянский (YDB)

Highload без очередей не highload. Профи построения Stream-систем Андрей Серебрянский расскажет кейсы масштабирования стриминга, подсветит подводные камни, для каждого случая проведет сравнительный анализ (без прикрас): Kafka и YDB Topics. Узнаем, где лучше применять каждый инструмент.

*Сравнительный анализ технологий помогает выбрать оптимальное решение для конкретных задач потоковой обработки.

4) Как правильно готовить RabbitMQ – 8 практических кейсов. Виктор Михайлов (Garage Eight)

Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.

* RabbitMQ — популярный брокер сообщений, правильная настройка которого критична для многих систем.

5) CDC без боли: Реальный опыт построения отказоустойчивой репликации с Debezium и Kafka. Евгений Прочан (Magnit OMNI)

Как импортировать только новые данные из более чем 16 типов баз? Как обеспечить надежный observability всего этого и не мешать основной работе систем? Евгений расскажет, как они в DWH Magnit OMNI используют Debezium, его возможности: инкрементальные снапшоты, хардбиты, сигналы и кое-что еще.

* Change Data Capture (CDC) — важный паттерн для синхронизации данных между системами в реальном времени.

Присоединяйтесь к нам 23 и 24 июня на Saint HighLoad++ 2025 🙌

✅ Программа конференции, расписание и билеты на сайте

www.tgoop.com/HighLoadChannel/4549

1.47K viewsMay 6 at 14:48

Обработка потоковых данных — важная составляющая многих высоконагруженных систем. В категории «Стриминг и обработка потоковых данных» объединены доклады о технологиях и практиках работы с потоковыми данными ⤵️

1) Архитектура сбора продакшен-трафика для нагрузочного тестирования: 10 000 микросервисов и 30 млрд запросов в Ozon. Евгений Кузышин (Ozon)

Как собрать трафик в реальном времени с 10 000 микросервисов в Оzon для ежедневных нагрузочных тестов, превращая 30 млрд запросов в супероружие для проверки системы. Докладчик поделится практическими решениями и реальными инсайтами по организации масштабируемой системы сбора трафика.

* Реальный опыт масштабирования системы сбора и обработки данных.

2) 10k метрик, 500 A/B-экспериментов и 500kk p-value каждый день. Как это возможно? Данила Леньков (Авито)

Насыщенная личным опытом история развития внутреннего проекта, масштабирования его функциональности на большую компанию и подготовка к созданию продукта. В докладе присутствует фокус на архитектуру и оптимизацию.

* Обработка огромных объемов аналитических данных в реальном времени — сложная техническая задача.

3) Сравнение масштабируемости Kafka и YDB Topics. Андрей Серебрянский (YDB)

Highload без очередей не highload. Профи построения Stream-систем Андрей Серебрянский расскажет кейсы масштабирования стриминга, подсветит подводные камни, для каждого случая проведет сравнительный анализ (без прикрас): Kafka и YDB Topics. Узнаем, где лучше применять каждый инструмент.

*Сравнительный анализ технологий помогает выбрать оптимальное решение для конкретных задач потоковой обработки.

4) Как правильно готовить RabbitMQ – 8 практических кейсов. Виктор Михайлов (Garage Eight)

Глубокое погружение в мир RabbitMQ. Разберем практические кейсы конфигурирования, поудивляемся, поспорим, а может, и похоливарим.

* RabbitMQ — популярный брокер сообщений, правильная настройка которого критична для многих систем.

5) CDC без боли: Реальный опыт построения отказоустойчивой репликации с Debezium и Kafka. Евгений Прочан (Magnit OMNI)

Как импортировать только новые данные из более чем 16 типов баз? Как обеспечить надежный observability всего этого и не мешать основной работе систем? Евгений расскажет, как они в DWH Magnit OMNI используют Debezium, его возможности: инкрементальные снапшоты, хардбиты, сигналы и кое-что еще.

* Change Data Capture (CDC) — важный паттерн для синхронизации данных между системами в реальном времени.

Присоединяйтесь к нам 23 и 24 июня на Saint HighLoad++ 2025 🙌

✅ Программа конференции, расписание и билеты на сайте

BY HighLoad++