Линейная регрессия с коэффициентами не меньше нуля📈

Небольшая хардовая заметка на полях, морали не будет. Недавно столкнулась на работе с такой задачкой: хотелось проверить (подтвердить) зависимость одной величины от нескольких продуктовых метрик при помощи наиболее простой и интерпретируемой модели из возможных. Грубо говоря, если обучится регрессия с хорошим R^2, то величины коррелируют. (Вопрос доказательства каузации сложнее, сегодня не трогаем)

И таргет, и фичи имели определённый «физический смысл» — были продуктовыми или техническими метриками — то есть временными рядами с растущим трендом. В связи с этим, а также по продуктовому здравому смыслу, хотелось, чтобы в итоговой линейной комбинации коэффициенты были неотрицательными. Так ненужные фичи получат коэффициент 0.

Оказалось, что для этого есть готовые методы😎
⚡️ можно заменить statsmodels.regression.linear_model.OLS на scipy.optimize.nnls (non-negative least squares)
⚡️ или же добавить в sklearn.linear_model.LinearRegression параметр positive=True. Если что, на intercept (свободное слагаемое, если fit_intercept=True) он не распространится, что, как правило, не нарушает замысел поставленной выше задачи.

Эти методы реализуют уже не просто линейную регрессию (метод наименьших квадратов) в классическом понимании, а решают задачу выпуклой оптимизации с ограничением:
argmin_x ||Ax - b||_2 при x>=0. Но разница не так велика.

#хардов_пост
@analytess 👩

Мы работаем не там... из-за когнитивных искажений🚨

Порой мы выбираем не лучшие оферы, остаёмся в токсичных командах или прыгаем из компании в компанию не потому, что так надо... а просто наш мозг умело загоняет нас в ловушки😐

🥲 Эффект «Конкорда» — «я посвятил этому проекту уже год»
Если работа перестала (или и не начинала) радовать, не всегда есть возможность сразу покинуть компанию. Не хочется «портить резюме», выходить из зоны комфорта, расставаться с коллегами, которые нравятся в отличие от задач... да и рынок, говорят, сейчас не очень. А главное — жаль начинать где-то заново, нынешний проект «пусть и плохонький, но моё детище».

Это та самая ловушка утопленных издержек! Надо перестать рассуждать в терминах «потерянного» времени, принять ценность любого опыта для себя и найти новые перспективы🌅

Пример из моей жизни — я покинула аспирантуру только спустя два непродуктивных года, в течение которых делала минимум для неотчисления через страдания о том, что я не пишу диссер.

😎 Confirmation bias — «300к/наносек как базовый минимум»
Это очень хорошо видно по комментариям в одном там паблике с обсуждением зарплат в айти-индустрии💸

Там есть две достаточно яркие категории людей — свидетели секты «иди на х2 уже завтра», и те, кто сами получают не очень много, да и к тому же слышали, что в бигтехах на самом деле платят сырками и ачивками на стаффе, но никак не деньгами.

Конечно, и то, и то — крайности, но в условиях отсутствия полноценных достаточно подтверждённых (и не анонимных) выборок зарплат действительно легко начать верить только в то, что подтверждает собственную точку зрения.
Это пример confirmation bias (предвзятость подтверждения).

➡️ Почему это проблема? Уверенность в том, что проработав даже год на одном месте, ты дико отстаёшь от рынка по зарплате, может привести к выгоранию и испорченным отношениям на хорошей в реальности работе, и наоборот.

🤵 Ошибка выжившего — «меня-то точно не уволят»
Есть места, где любят избавляться от людей по результатам испытательного срока или после ревью (иногда даже далеко не первого). Порой действительно проблема в сотруднике, но если история повторяется в одной команде неоднократно, это, вероятно, флажок, что что-то не так с онбордингом или ожиданиями от работников🚩 ИМХО, это нужно понимать.

Тем не менее, в такие команды продолжают приходить люди, которые считают, что с ними точно подобного не случится, ведь они (подчеркнуть нужное) получили красный диплом, сильно понравились на собеседовании, просто не лентяи или там накрутчики опыта какие-то, чтобы быть уволенными за низкий перформанс... Иногда всё складывается, а иногда работа в команде с политикой быстрых расставаний становится уроком.

📈 Эффект Даннинга – Крюгера — «я не достоин этой работы, а вон та работа не достойна меня»
Было ли у вас такое в начале карьеры, что начинало казаться, что синьоры ничего особенного не делают и получают за это в разы больше денег, чем вы?🤓
Или, может быть, наоборот — смотришь на вакансию джуна в 2025 и понимаешь, что с 3-5 годами опыта не всё знаешь😬

Одно из неприятных свойств нашего времени состоит в том, что те, кто испытывает уверенность, глупы, а те, кто обладает хоть каким-то воображением и пониманием, исполнены сомнений и нерешительности.

Да и сами грейды нынче — странный предмет. Можно упустить немало подходящих вакансий, если зациклиться только на определённом названии должности. Так, сейчас много где можно пройти на условного мидла без даже года опыта (и это не про накрутку опыта и прочие схемы, такое бывает даже в 📱).

А в Авито 👍, например, сложилась немного обратная ситуация — требования к грейдам выше среднерыночных, и человека со словом старший/ведущий/главный в названии должности в другом месте спокойно могут оценить на мидла на этапе кейса. Знаю, что многих это задевает, и они не продолжают общение, тогда как компенсация и перспективы того на самом деле стоят.

➡️ Что думаете? Сталкивались с чем-то из перечисленного?

#карьерный_совет #непопулярное_мнение #аналитика_и_жизнь
@analytess 👩

ChatGPT 5 сам предложил мне сделать этот мем для канала🤖
...и не справился😄

Всё началось с того, что я с утра лайкнула неповторимый оригинал у N айтишниц, а потом решила объяснить в комментариях логотипы, но сама знала не все. Дальше скину скрины в комментарии⬇️

А к вам вопрос — отрабатывает подписку за 20$, или же это точно знак снова начать тратить их иначе?🤓

@analytess 👩

Как я хотела кешбек за билеты, а получила лекцию в ночи😬

Не реклама и не негатив на красный банк, выводы все сделают сами. Прочитала в одном там большом канале о путешествиях про акцию у Альфа-Банка🅰️: 20% на авиабилеты и 50% на ж/д практически без лимитов. И это стало последней каплей, которая заставила меня оформить карточку, хотя я адепт жёлтого банка, где получила уже десятки тысяч бонусов.

А мне как раз нужно покупать билетики на осень — и те, и другие🥲 Так что я вызвала представителя банка на вчерашнее утро и стала его ждать. Он опоздал на час (пришлось жонглировать созвонами немножко), но мы встретились, и провели любопытные 25 минут на лестничной клетке...

Начал представитель красного банка с вопроса, есть ли у меня 20 рублей на Тиньке😐 Оказывается, карты будет две (обе без гравировки имени, одна со штрихкодом «для регистрации в онлайн-банке» (что? да), другая «настоящая»). И они могут не заработать сами по себе, поэтому надо при представителе перевести себе по минимальной сумме 10 рублей с жёлтого банка по номеру карты (вроде сейчас почти так никто не делает, и у многих других банков на этот случай есть комиссия). Паспорт пришлось фотографировать раза 3, никак не проходило фото...

Но ничего, постепенно справились. Только оказалось, что на «основной» карте обязательно подключается овердрафт 30.000 (спасибо за кредитную историю🐧), но и это мелочи — я человек опытный, кручу под процентами кредитные 300.000+ в одном банке и пока не заплатила ни рубля, и тут справлюсь😀.

Ночью я всё-таки решилась купить билеты, и при попытке перевести себе по номеру карты 10 тысяч высветился «пуш счастья», что моя основная зарплатная карточка пока что заблокирована, уж больно подозрительная операция🤓
Но сразу же позвонил 🏦, и прочитал в ночи голосом робота кэшеспасительную лекцию про 4 разных схемы мошенничества, и про каждую надо было голосом подтвердить, что это не мой кейс. Прикольный сервис, но напомнило мем из коммов про 🔖.

По сервису Альфа-Тревел пока могу сказать следующее:
⭐️ типичный агрегатор со своими нюансами (некоторая наценка, страховка по умолчанию, комиссии в случае возврата)
⭐️ неудобно, что не нашла тариф «туда-обратно» для поездов
⭐️ кешбэк предварительно с лихвой окупил наценку сервиса
⭐️ не замечены некоторые услуги, которые есть у других агрегаторов (авторегистрация, полная отмена без причины)

Выводы и прочие мысли:
⭐️ кешбэки — это круто, и может быть даже не скам (смогу сказать 10 сентября — в дату начисления обещанных 12к)
⭐️ следить за акциями — не кринж и не мелочность, а вполне себе способ сэкономить (всё-таки копейка рубль бережёт, но и фанатизм тут не нужен, я не имею в виду оформлять новую карту в каждом таком случае)
⭐️ сервис жёлтого банка мне пока нравится в целом больше
⭐️ службы безопасности банков очень бдят, если перевод не по СБП — ну тут правильно, сейчас действительно много рисков

➡️ Если вас ничего не смутило, и нужны мега-кешбэки (до сегодня на авиа, но по Москве карту могут успеть привезти; до 14 сентября на поезда), то вот ссылочка на дебетовую карту💸

#лайфстайл_и_личное #путешествия_каждый_месяц
@analytess 👩

The crossover you didn’t know you needed. But the one you deserve😎
Чисто на обложку рэп-альбома снялись💃