Моя теория расписаний

Меня несколько раз спрашивали, как у меня получается делать столько дел и все успевать?

🎹 Я думаю, эта история заложилась как минимум, когда я параллельно училась в лицее+муз колледже. Я выписывала все доступные слоты по каждому предмету в колледже и искала оптимальное время

Потом ходила к преподам договариваться, чтобы разрешили ходить с другими группами. Если слотов не было, договаривалась прийти на экз со всеми конспектами. У меня как будто американское образование, потому что я всегда ходила с разными людьми😂

На индивидуальные занятия ходила даже домой, потому что по времени было больше никак. Я даже когда-то охарактеризовала себя так: «Каждый семестр я немножко колдунья»

👟 Часто я бегала туда-обратно по несколько раз в день (типо колледж-универ-колледж-универ)

Было особенно забавно, когда у меня совпали экзы в универе и выпускные гос экзы в колледже. С утра я сдавала в одном месте, а после обеда в другом. Бывало, что договаривалась с универом и сдавала с параллельной группой

🕊 На фотке №1 - мое расписание, когда я училась уже в универе+муз колледже. Периодически я была занята с 8 до 20. А еще в идеале нужно было заниматься за фортепиано минимум по 4ч в день. Кроме теор предметов, было 5 индивидуальных с инструментом два раза в неделю, к которым просто необходимо было готовиться🫠

🕊 На фотке №2 - забавная смесь, где на левой страничке я готовилась к угадайке по опере, а на правой делала домашку по линалу

🕊 На фотке №3 - пример моего текущего расписания. Мне всегда куда-то надо и в несколько мест одновременно 😅

🖍Решила заодно перечитать свой «Дневник размышлений», который пополняю мыслями несколько раз в год. Нашла интересные аффирмации:

Сейчас время ускользает сквозь пальцы, а все мои идеи так ими и остаются. А я растрачиваю свое невозвратимое никогда благо на ерунду, когда нужно начать действовать!

Я могу. Я хочу. Я делаю

Архитектурки

Вчера прошел "Lakehouse Meetup", где было 2 выступления и панельная дискуссия на тему проблем, технологий, опыта разных компаний: Т-Банк, Лемана Тех, Азбука Вкуса, S7 Airlines, Querify Labs, Positive Technologies (как ни странно)

Картинка №1 - to be, до которой дошли в Лемана Тех (почти)
Картинка №2 - как сейчас в Азбуке Вкуса

Успела заглянуть всего на полчаса, чтобы посмотреть офис, встретиться со знакомыми людьми и съесть пару вкусняшек 🙂 Остальное досмотрела в записи, что можете сделать и вы:

YouTube
VK

#system_design

Committers in Spark

В спарке есть такая штука, как коммиттеры. Они нужны, чтобы пользователи видели только успешные финальные результаты. Их несколько:

✨ File Output Committer

v1

"spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version" = 1

Сначала все файлы пишутся во временные папки в attempt/, потом перекладываются (по сути rename) в task/ и в самом конце в корень вашей папки. Тут упор на надежность: если что-то упало, то оно перезапустится и не попадет в конечную папку, пока не отработает

v2

"spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version" = 2

Здесь файлы пишутся в attempt/, а потом сразу перемещаются в корень вашей папки. Тут упор на производительность: нет дополнительного шага, но если что-то пойдет не так, то останутся куски файлов

✨ S3A Committers

Для работы с s3 есть magic и staging. Предыдущие не подходят, т.к. переименование реализовано как копирование и удаление. И если файлов много, то это очень долгая операция

magic

"spark.hadoop.fs.s3a.committer.name" = "magic"
"spark.hadoop.fs.s3a.committer.magic.enabled" = "true"

Файлы пишутся сразу в корень, но облако должно быть консистентным. Появился в конце 2021

staging

С ним я не игралась, но суть в том, что сами файлы пишутся в стейджинг на hdfs (отсюда и название), а потом грузятся в s3

_SUCCESS

Возможно, вы когда-нибудь заглядывали в файл _SUCCESS. Если писать алгоритмами v1/v2, то он будет пустым. А вот пример с magic:

{
  "name" : "org.apache.hadoor.fs.3a.commit. files.SuccessData/1",
  "timestamp" : 1744183768995,
  "date" : "Wed Apr 09 10:29:28 MSK 2025",
  "committer" : "magic",
  "description" : "Task committer attempt_202504091019345870801396712503545_6660_m_1000000_0",
  "metrics" : {
    "stream_write_block_uploads" : 0,
    "files_created" : 1,
    "stream_closed" : 200,
...

Я сходила на aha…

и мне не понравилось)

Встретила только двух знакомых и чувствовала себя максимально некомфортно в сообществе аналитиков. Залы были почти пустыми, хотя где-то ходила целая 1000 человек

Я поучаствовала в нескольких активностях:

1️⃣ Игруля, где на деревянной дощечке стоят плашки, нужно задавать сопернику вопросы и закрывать неподходящие варианты. Перед последним ходом мой соперник уже понимал, что это профессия человека, который обрабатывает данные) А я понимала, что это какая-то метрика. Пошла ва-банк с ROI, но оказался Churn Rate 🤷‍♀️

ROI («Return On Investment», возврат инвестиций) — коэффициент рентабельности инвестиций, который помогает рассчитать окупаемость вложений в проект.

Churn rate, или отток клиентов, — метрика, которая показывает, сколько клиентов потеряла компания за определённый период.

2️⃣ Пошла вытягивать предсказания

Баг исчезнет сам, будто его и не было. Но откроет кое-что посложнее.

Вторая часть предсказания мне не очень понравилась, и я решила вытащить "пояснительную" для решения этого "посложнее":

Следующий твой инсайт родится из самой глупой идеи. Будь готов.

Ну допустим

3️⃣ На одной станции в призах была кружка (я люблю собирать симпатичные), баллов требовалось немного, и я пошла их копить

Сыграла в викторину, где на определенную тему нужно назвать как можно больше терминов. Нам с соперником досталась тема "Виды графиков", и как же я была счастлива)) А то на тему метрик, статистики я бы вряд ли много чего накидала. Эту игру я выиграла 🎉

Потом пошла решать математические задачи. По времени не было никаких ограничений, хоть вечером приноси. Всего 3 задачи: найти этаж по номеру квартиры в доме, тервер, интеграл. В тервер лезть не стала, баллов на кружку уже хватило бы без нее)

4️⃣ Потом покрутила колесо заданий. В самом задании нужно было выбрать, какой вид графика лучше. Оказалось, что визуально разделять категории (одежда, бытовая химия и т.д.) по разным цветам - плохая идея. Только если мы не хотим акцентировать внимание именно на разных категориях. А так можно выбрать, например, выручку и покрасить столбики в зависимости от ее размера

Проходя мимо аналитической настолки, услышала термины "когортный анализ" и "логистическая регрессия", решила не ввязываться 😁

⚾️⚾️Второй день послушала уже в онлайне, вообще из всех треков мне понравился только про здоровье, сидячий образ жизни, умственную деятельность и вот это все