Привет всем!👋
Отличной пятницы и помните:

#fun

Привет всем!👋

Немного мыслей про найм в 2025 году.
К счастью или к сожалению, нанимающая сторона так или иначе вооружилась ИИ для фильтрации резюме и первичному общению с кандидатами.
Но, как мы знаем, ИИ - это игра в которую играют вдвоем. Кандидаты тоже начали показывать зубы.
Таким образом, игра в "обмани меня" процесс отбора превратился в расставление ИИ-ловушек с обоих сторон.

Добавлением ключевых слов в резюме и "доработкой" резюме для конкретной компании уже не удивить никого, но что делать с уже фактическими этапами собеседования, где кандидаты начинают активно использовать co-pilot технологии.

Из первых примеров, которые вплывают в голове - Cluely. Буквально за 20$/месяц вы становитесь непобедимым.

- Что с этим делать и как жить в текущих реалиях?
Это действительно большая проблема, ведь теперь идет нечестная оценка знаний. Хочется задаться вопросом, а что вы хотели, когда такой ажиотаж на рынке, конкуренция за злаковые места растет, а главное, что является острой проблемой - нередко знания, оцениваемые на собеседовании не применяются на работе. То есть, другими словами, самое сложное - пройти собес, работать легче. На рынке кандидаты это начинают понимать. Это порождает порочный круг - слив собеседований, использование всевозможных уловок.

В качестве мер защиты предлагается вводить старые добрые офлайн собеседования, где видно, чем занимается человек. С другой стороны, кажется, что процесс собеседования должен быть приближен к требованиям и скиллам, каждодневно используемым в работе. Опять же понятно, почему сейчас собеседования выглядят следующим образом: работодатель при большой конкуренции хочет взять лучшего за меньшие деньги, эта истина стара как сама жизнь. Тут, снова видим прямой зависимости роста технологической гонки кандидатов в зависимости от повышения входных требований.

-Как вижу это лично я?
Собеседование должно затрагивать только те технологии и задачи, которые вы используете в работе. Офлайн собеседование - дополнительный стресс и барьер для талантливых ребят, которые, скажем работают в другом городе. Испытательный срок - часть собеседования, он важен и я постараюсь объяснить почему.
Если давать задачу, которую можно дать в качестве рабочей (обработка данных) и после выхода на работу, кандидат испытывает сложности с решением данной задачи, то сразу встает вопрос, как он решил ее ранее. Плюс, по опыту, сложно оценить за 1-3 созвона по часу как человек будет работать и что он умеет и знает. Поэтому лично у меня в команде ставку делаем на испытательных срок, по результатам которого складывается финальная картина.

Что думаете вы?

#карьера #офтоп

Привет всем!👋
Надеюсь у всех продуктивно прошли выходные и все настроены на не менее продуктивную рабочую неделю!

Продолжаю держать в курсе по соревнованию MAP - Charting Student Math Misunderstandings.
Из новостей:
💡порог 0.950 побит, лучший скор LB 0.951.

Ранее можно было увидеть драматическое падение на LB в область выпадения из серебра.
Как и говорил ранее, это нас не устраивает, мы воюем за серебро! Пришлось сесть поковыряться.

- Что по обновлениям?
🔵В выходные добавил в решение эмбеддеры больших языковых моделей, чутка дали прирост.
🔵В комментариях у меня была дискуссия на тему того, можно ли их использовать, решил что нужно.
🔵Основное ограничение реализации - здравый смысл ресурсы Kaggle (2xT4 GPU), по которой последние решения стали ловить OOM. Пришлось потратить достаточно времени на работу с чистотой оперативы и GPU/

На данный момент произошел прорыв, опять вернулся на 27 место, ребята выше явно что-то знают, что пока мне не открылось. Stay tuned!

Ставь 🏆, если дотянем до конца в серебре!

#соревнования

Привет всем!👋

Держите handbook по поиску фродовых транзакции в финтехе.

Достаточно хорошая выжимка.
В ней вас проводят по полной постановке задачи, от возможных сценариев экспертной классификации фрода, погружая в проблематику, далее вводят метрики, активно используемые для решения задачи, затем погружают в моделью часть, вплоть до моделей Deep Learning.

Материал достаточно структурированный, подойдет как и начинающим, кто хочет начать работать в данном направлении, но не понимает что и как там делается, так и тем, кто уже работает в антифроде.

Из плюсов отмечу, что в каждой главе сначала теоретический минимум, за которым следует практический пример.

#ds_лайфхаки

Привет всем!👋
Я обычно их сам вычищаю, а тут бац и пачка сама покинула заведение 😂

P.S: Кстати, там немного обновилась информация по выступлению, см. выше.


#офтоп

Привет всем!👋

Пришли приглашения на Practical ML Conf.

Проверяйте почту.

Ставь 🔥, если пойдешь, 🌚 если не пойдешь/не пришло.

#мероприятия #life

Привет всем!👋
Вчера выступал в ВШЭ на летней школе.
Фотоотчет с выступления будет чуть позже.
Разбавил выступление приколами с котами, поэтому для баланса пришлось выступать в пиджаке (все-таки серьезные вещи рассказывал).

Крутая аудитория, много вопросов, некоторые ставили в ступор, чем и зацепили.

Вижу, что по результатам выступления в наших рядах прибавилось, поэтому вновь прибывшим настоятельно рекомендую начать с навигации по каналу. Все посты помечены хештегами для удобства.

Топ-1 вопрос с мероприятия - какие скилы нужны для того, чтобы вкатиться в работу DS, тут рекомендую начать с #ds_лайфхаки и #карьера и #статьи, где я подробно описываю важные аспекты, такие как навыки, необходимые для разных направлений и грейдов, на что надо обращать внимание, есть даже статья в какое время года лучше всего искать работу/стажировку. Изучайте, уверен что-то полезное для себя найдете!
Рад всем и добро пожаловать!

P.S. Внутри вышки был впервые, в целом достойно!

#мероприятия #life

Привет всем!👋

Небольшой отчет по по соревнованию MAP - Charting Student Math Misunderstandings.

С прошлого раза изменений глобально не было, не считая того факта, что начал удалять из ансамбля откровенно слабые модели. Последний эксперимент дал по LB небольшой аплифт, что изначально подняло меня до 23 места, но за последние 2 недели участники начали сдвигать. Good News, я все еще в серебре. Конкруренты снизу уже гоняют LB probbing во всю, просто докручивая по сотой веса в ансамблях, мы против такого подхода. Как показывает мой опыт соревнований, все-таки, модель переобучать плохо, нужна частная генерализация признаков, поэтому я не люблю делать развесовку моделей а-ля по метрикам кросс-валидации.

Хотелось бы пофитить и потестить предельные для инфраструктруры Kaggle модели, но свободного времени, мягко говоря - отрицательное значение.

Сами посудите:
▪️Выступление в ВШЭ в прошлую субботу
▪️Посещение стажерского феста Альфы (в эту среду). Позвали туда в качестве наставника стажеров.
▪️Забег ради жизни 2025 (5км чистого кайфа в последний день лета)
▪️Подача документов на загран (в эту субботу, так как у меня в июне закончился 10ти летний)
▪️А через неделю еще и корпоратив.

Радует, что много интересных вещей, поэтому две недели очень насыщенные на мероприятия.

У меня все как всегда (напишите в комменты если у вас также), либо ничего не происходит, либо все и сразу.

Также, никто, конечно же, не отменял и работу, где задач непочатый край. В течении месяца нужно будет вывести 2 модели и перевести в промышленную эксплуатацию еще 1 модель, которая работает в теневом режиме (ОПЭ). Работы много, но стараемся держаться.

А как у вас дела?

#соревнования #life

Привет всем!👋

В целом, любому кто интересуется и работает в DS важно смотреть по сторонам, чем занимаются и что в тренде. Да и возможно ваша область применения вам наскучила и хотите узнать что и как у соседей за забором.

В целом собрали папку с ребятами, в ней есть много интересных ребят, например:

▪️Юра рассказывает про опыт внедрения ИИ на производстве. Мне понравились материалы с реальными примерами применения моделей и датасетами в разных индустриях.

▪️Саша, тот, кто отвечает за цифру в Я.Лавке после слов «Ваш заказ будет через …» научит вас вкатываться в DS бесплатно😂.

▪️Ваня специализируется на ранжировании и всем, что связано с рекомендациями, пишет отличные посты на эту тему.

▪️Виталий, который рассказывает как вкатился в аналитику в 30+ лет. У него есть крутой пост про неправильную формулу прироста в учебниках.

▪️Даня публикует активно различные датасеты.

▪️Захар специализируется на звуке и рассказывает про свой стартап Audio2MIDI.

Могу продолжать еще долго, советую просто подписаться на папку.

👉папка с крутыми специалистами👈

Кстати про то, как я работаю с папками, писал ранее тут, рекомендую ознакомиться.

#офтоп

Привет всем!👋

Разбавим этот четверг немного техническим материалом.
Сегодня поговорим, про встроенную функцию zip().

Данная функция используется для создания итератора, объединяя элементы из различных итераторов.
Рассмотрим следующий код:

names = ['Аня', 'Боря']
scores = [85, 92]
ages = [25, 27] 

result = list(zip(names, scores, ages))
print(result)

результат работы ниже:

>> [('Аня', 85, 25), ('Боря', 92, 27)]

Видим, что мы создали итератор, в котором 2 элемента, объединяющих целых 3 списка.

Функция удобна, но имеет ряд недостатков. Сделаем искусственно 3 списка разной длины и попробует объединить.

names = ['Аня', 'Боря', 'Вова'] # Обратите внимание: здесь 3  элемента
scores = [85, 92] # Обратите внимание: здесь 2  элемента
ages = [25, 27, 30, 35]  # Обратите внимание: здесь 4 элемента

result = list(zip(names, scores, ages))
print(result)

Результат исполнения кода довольно-таки интересный:

>> [('Аня', 85, 25), ('Боря', 92, 27)]

Видим, что, сгруппировалось по принципу наименьшей длины итератора, в данном случае scores.

- Как решить данную проблему?
Данную проблему решить на 100% не получится, так как, при разных длинах встает вопрос однозначности сопоставления. Но вариант сохранить максимальную размерность есть.
Тут на помощь приходит библиотека itertools с ее вариантом реализации zip_longest().

Основное отличие zip_longest() от zip() в том, что он тоже объединяет элементы, но работает до тех пор, пока не закончится самый длинный из переданных объектов

Таким образом, для аналогичного кода:

from itertools import zip_longest

names = ['Аня', 'Боря', 'Вова']
scores = [85, 92]
ages = [25, 27, 30, 35]

result = list(zip_longest(names, scores, ages))
print(result)

вывод будет следующим:

>> [('Аня', 85, 25), ('Боря', 92, 27), ('Вова', None, 30), (None, None, 35)]

Теперь все элементы на месте! Но там, где данных не хватило, появилось значение None.

- Хочу вместо None другое значение!
Без проблем! За это отвечает атрибут fillvalue.

result = list(zip_longest(names, scores, ages, fillvalue='N/A'))

Кстати, есть еще одно интересное и неочевидное применение zip() - обратная распаковка данных.
Предположим, у нас есть уже заzipованный итератор zipped_data:

zipped_data = [('Аня', 85, 25), ('Боря', 92, 27), ('Вова', 78, 30)]

из него мы можем обратно восстановить names, scores, ages распаковав их следующим образом:

names, scores, ages = zip(*zipped_data)

Аналогично работает и с zip_longest():

names, scores, ages = zip_longest(*zipped_long, fillvalue='N/A')

Ставь 🔥, если не знал!

#ds_лайфхаки