Про облака

Как-то общалась с одной компанией про облака, про индустрию и вообще за жизнь. И тут я поняла, что вообще ничего не знаю/не помню про зарубежные сервисы 😅

Диалог начался с классического вопроса. Если я во время ответа вкидывала какой-то новый термин - мы сворачивали с пути и начинали копать в эту сторону

Какие сервисы знаете в AWS, Azure, Google Cloud с точки зрения данных?
В чем особенность Amazon Redshift?
Опенсорсная ли Cassandra?
Hadoop умер?
Почему есть Hadoop в облаке?
On-prem vs Cloud?
Какая разница работать с КХ на железе или в облаке?
Что стоит учесть при переезде в облако?
Почему облака дороже, если нужны средства на хранение, кондиционирование, обслуживание своих серверов?
В чем успех Databricks?
Нужно ли идти в Lakehouse?
Уйдут ли все компании в Lakehouse?
В каких случаях лучше иметь DWH, Data Lake, Lakehouse?
Что будете выбирать, стартуя свой бизнес сейчас?
Почему на Data Lake не стоить строить нормализованную архитектуру?
Бизнес-пример с использованием Anchor?

Вопрос с Databricks меня конкретно поставил в ступор)) Но тут на некоторые вопросы нет правильных и неправильных ответов. Важно - что ты думаешь

Я еду на смартдату!!!

На днях приснилось, что смартдата будет во Франции, в Париже🇫🇷 И я во сне думаю: "Она же уже через две недели, а у меня нет визы. Дадут мне так быстро и вообще дадут ли?? 😱😱 Надо поставить напоминание на завтра, чтобы не забыть прямо с утра разобраться с этим"

И через мгновение я уже вижу себя в Париже. Вспоминаю, что надо быть аккуратным со своими вещами. Я вешаю сумку через плечо, крепко держу телефон в руках, солнечный день, навстречу много людей. Я иду к трамвайной остановке…

🧳Вообще путешествия мне часто снятся. Я даже начала в какой-то момент все детали записывать в заметках)

Так я путешествовала уже 32 раза, из самого прикольного:
⏺пешком перешла границу Москва - Испания
⏺пожала руку Байдену
⏺бежала с партизанами из польской деревни
⏺посетила вымышленную страну на территории Буркина-Фасо и Ганы
⏺из-за надвигающейся катастрофы в Африке переплыла на другой остров
⏺искала в Париже сестру подруги, которую в детстве отдали в другую семью (у нее нет сестры)

🕰 А по смартдате уже выбрала и добавила себе в календарь по одному докладу. Закину в комменты те, которые мне больше других приглянулись, довыбираю уже на месте

Как я чуть не попалась на мошенников

Предыстория

👢В конце августа в Казани проходил «Сенной базар», где локальные бренды выставляют свою продукцию. Мне очень понравился один бренд из Тюмени, одежда ручной работы, и я некоторое время общалась с его владелицей. Потом она не прочитала мой вопрос, я написала еще раз через пару недель - снова не прочитала. Но я уже запланировала покупку, поэтому решила написать в чат тг канала

Краткое продолжение

Мне пишут с аккаунта «<Название бренда> Chat». Акк создан в апреле 2025, сам бренд тоже относительно новый, около 1,5 лет. Общение очень вежливое, со скобочками и сердечками в меру. Ниже просто тезисно:

Что я хотела заказать? Не видели мое сообщение, продублируйте
❓Первый звоночек - можно же найти переписку со мной? ну ок, далеко листать или пишет ассистенка

Какой размер нужен?
❓Второй звоночек - размер для платья, которое шьется под заказ? сомнительно, но окей, вдруг есть какие-то заготовки, замеры все равно нужны

Пришлите данные для доставки. Я в ответ спрашиваю про сроки - до недели
❓ Третий звоночек - сшить под меня и доставить до недели? ну…. по-до-зри-тель-но. пока допустим, учитывая предыдущий вопрос про размер

Соориентировать ли по стоимости? Оплата сразу
❓Четвертый звоночек - я смотрю на цены и понимаю, что они раза в 2-3 дешевле, чем я видела в инсте и на оф сайте. "Реальная себестоимость должна быть еще ниже тогда? Они больше, чем в 4 раза что ли делают надбавки? Или это персональная скидка за личное знакомство и большое количество вещей?"

Тут мне пишет владелица и говорит, что чат со мной случайно оказался в архиве
❓Финальный колокол - я смотрю на список чатов и вижу, как параллельно пишут в два из них

〰️〰️〰️〰️〰️

Выяснилось, что к бренду этот акк никакого отношения не имеет. Я их довела до ссылки на оплату, по СБП, в течение 10 минут. Мне прислали длинную ссылку, я перепроверила на фишинг и вирусы раз 5 на разных сайтах)) Открыла в инкогнито, увидела огромный куар с инструкцией отсканировать с телефона - и заблочила акк

Еще я вспомнила, что тестила функцию с чатом канала один раз, и там была плашка DIRECT рядом с названием, но это было еще в начале лета. К слову, в профиле мошеннического акка не было никаких ссылочек. Я вот теперь сомневаюсь, а можно ли вообще писать от имени чата, а не канала?

В общем, я не слышала про такую схему и уже готова была подтверждать после выяснения моих вопросов, если бы владелица не написала в тот самый момент

Я что-то упустила?
Берегите себя 🧡

Как стать дата грамотнее?

Ребята, я хочу порекомендовать вам конференцию, мимо которой точно нельзя проходить — РУBIКОНФ’25. Это про BI, про дата-грамотность и вообще про то, как мы работаем с данными здесь и сейчас в России.📊

Когда: 7 октября 2025
Где: Москва, кластер «Ломоносов»
Участие: бесплатно (надо только зарегистрироваться заранее)

Почему стоит пойти?
🟦Там будет сразу три потока:
🟣большой зал: стратегические доклады/кейсы BI-внедрений;
🟣малый зал: узкотематические выступления от практиков;
🟣и, самое вкусное, мастер-классы (можно сесть и руками освоить новые методы работы с данными).
🟦Ну и, конечно, там будет конкретное «РУBIЛОВО» — это формат, где не боятся поднимать острые темы и сталкивать мнения. Лично я обожаю такие дискуссии, потому что там нет «правильных» ответов, но есть живые инсайты.

🟦В общем, РУBIКОНФ’25 — это редкая возможность увидеть весь BI-ландшафт России в одном месте: от больших интеграторов до стартапов, от кейсов внедрений до экспериментов с визуализацией.

🤩Участие в РУBIКОНФ’25 БЕСПЛАТНОЕ. Нужно только успеть зарегистрироваться заранее. Вам дают топовый контент и мощный нетворкинг, а вы платите только своим временем.

🔗Полная программа и регистрация: здесь.

Реклама. Рекламодатель АО «ОСТ»
ИНН: 9709108924

Как мониторить подвисшие сенсоры?

Начнем с того, что в Airflow есть несколько состояний для таски:

⭐️none - пока отдыхает
⭐️scheduled - должна быть запущена, все зависимости выполнены
⭐️queued - ждет свободный воркер
⭐️running - работает
⭐️success - успешно завершилась
⭐️restarting - перезапустили
⭐️failed - упала
⭐️skipped - пропущена
⭐️upstream_failed - упала предыдущая таска, которая нам нужна
⭐️up_for_retry - упала, но будет перезапущена
⭐️up_for_reschedule - сенсор будет перезапущен
⭐️deferred - отложена и ждет триггер
⭐️removed - удалена из дага после запуска

Подвисшие сенсоры уходят в статус deferred. У нас они имеют такой нейминг - mytask_awaiting_somedag. Я написала себе запрос, который выводит:

⭕️название дага, на который смотрит сенсор
⭕️количество сенсоров, которые ждут этот даг
⭕️общее количество подвисших сенсоров

И так можно сразу понять, на какой даг смотрит наибольшее количество сенсоров, и посмотреть причину

with sensored as (
  SELECT 
    substr(
      task_id,
      strpos(task_id, 'awaiting_') + length('awaiting_')
    ) as sensor,
    dag_id
  FROM airflow.public.task_instance
  WHERE state = 'deferred'
)
select
  sensor,
  count(1) over(partition by sensor) as sensor_cnt,
  count(1) over() as total_cnt,
  dag_id
from sensored
order by 2 desc, sensor, dag_id;