Результаты исследования дс специалистов

Помните, я вам говорил про исследование от коллег из DevCrowd. Так вот недавно коллеги пришли с результатами исследования и вот знаете что?

❗️ИССЛЕДОВАНИЯ БУКВАЛЬНО ТОЧНО ОТРАЖАЮТ ТО, ЧТО Я ВАМ ПИСАЛ В РОАДМАПЕ

Чтобы вкатиться в аналитику, необязательно ботать ML, DL, Python, Causal inference, Uplift, Market Mix Modeling и еще там миллиард прикладных вещей. Просто SQL и аналитический склад работы (затрагивает понимание статистики). По желанию можно подтянуть A/B.

🔠🔠🔠

Дальше просто пройти собес. Серию постов про собеседования я писал тут.

Что делать, вы знаете - материалы уже все я подготовил и ознакомиться можно вот тут: 1, 2, 3, 4, (серия еще не закончена, скоро выложу пост про A/B).

#career #analytics #interview

Интересное что-то от ребят, кого я читаю v0.28

Предыдущий пост тут
Интересное что-то тут

Новая неделя, новая подборка!

1. Наш Андрей нашел и любезно приложил ссылочку на хэндбук по поиску фродовых транзакций в финтехе. Если вам актуально погрузиться в проблематику, метрики и применямые модели, то точно стоит пробежаться по материалу. Кстати, докину сюда еще, что в антифроде очень важно работать с хорошими и чистыми данными, потому что даже после разметки мы не можем до конца быть уверены в наших таргетах.

2. Александр поделился ресурсом, где собраны разные MCP сервера. Там и GPT ресерчеры и Dungeon Task мастеры, и даже вроде есть звездочки для каждого сервера. На крайняк там можно даже поглядеть серверы по категориям.

3. Сева рассказал про рабочий пример архитектуры мультиагентной системы. Базово там есть один центральный агент (judge), который раздает таски субагентам и далее потом на основе полученной информации делает выводы, а потом либо раздает таски, либо агрегирует информацию в отчет.

4. Рефат немного копнул про LangExtract в исходниках и рассказал суть. Если коротко, то LangExtract = Few-shot Information Extraction + Structured Outputs + Automatic Source Grounding. На выходе отдает точное местоположение типа {"startpos": 41, "endpos": 57}. Есть интересная штука extraction_passes - это типа несколько проходов по документу для повышения recall (полноты).

5. Сергей порадовал базой в менеджерских историях про хозяйственных и эгоистичных лидов. Одни делают так, чтобы команда работала эффективно, другие руководители гонятся за своими KPI. Интересно отмечено, что это не особенность психики или типа управления, а скорее среда сама способствует появлению таких моментов.

Все посты от коллег к сожалению я читать не успеваю, видимо пора уже делегировать 😂

#interesting

Йоу! Присаживайся, брат. Если ты пришел с вопросом как повайбкодить с нуля, значит, ты на верном пути. Я 10 лет в этой теме, и я тебе скажу одно: сейчас кодить - это не про страдания и поиск багов ночью с перечитыванием документации. Сейчас кодинг - это про вайб, про состояние потока, когда ты мчишь по строчкам кода как на машине со скоростью мысли.

Твой сетап - это твой экзоскелет. Он должен быть незаметным, быстрым и угадывать твои желания. Забей на типа трушных разрабов, которые гордятся тем, что пишут в голом Vim и компилируют ядро на завтрак. Наш путь самураев - путь максимальной эффективности и кайфа.

Пора подняться из грязи в князи и кодить в браузере. Это точка входа. Ты еще не кодер, ты всего лишь энтузиаст. Ты разговариваешь с машиной, и она выдает артефакты. Берешь и открываешь вкладку с AI-чатом и пишешь промпт: "Напиши мне скрипт на Python, который берет CSV файл, находит всех юзеров из Москвы и сохраняет их в новый файл".

Инструменты:
▫️claude.ai
▫️chat.openai.com
▫️aistudio.google.com
▫️chat.deepseek.com

ВСЕ!

Тебе. Вообще. Не. Нужен. Комп. Нужен только браузер. Придумал промпт за 30 секунд, получил в ответ какой-то код. Если что-то непонятно, берешь и пишешь в чатик: "Объясни мне эту строчку". Если думаешь, что работает так себе, пиши: "А как сделать то же самое, но эффективнее?". ИИ, как твой бесконечно терпеливый синьор, вернется с ответом, как подумает. Заботы о том, работает оно или нет, оставь на потом. Сейчась главное ловить кайф.

Скоро вернусь с еще одним бесполезным советом!

#meme #llm

SHAD AB week

Помните, недавно я писал пост про материалы для ботки из ШАДа, и оказывается от них же еще недавно проходил AB week. Оригинальный пост с материалами я обновил, но чтобы вы были в курсе и сразу получили несвежую информацию из первых рук.

Там рассказали о современных методах анализа, включая бутстрап, линеаризацию и CUPED. Ну и соотвественно лекции про правильный дизайн и проведения А/В‑тестов, их анализ и формулировку бизнес‑решений.

Конкретно по лекциям:

1️⃣Статистика для A/B‑тестов: важные на практике распределения, параметры и оценки, гипотезы и статистические критерии, t‑критерий Стьюдента (YT, VK)

2️⃣Ошибки I и II рода, MDE (минимальный детектируемый эффект). Одновыборочный критерий Колмогорова — Смирнова. Тест Шапиро — Уилка. Синтетические АА‑тесты для проверки валидности статистического критерия (YT, VK)

3️⃣Сравнение распределения двух выборок: двухвыборочный критерий Колмогорова — Смирнова, тест Манна — Уитни. Метрики отношения. Мощность теста и сравнение критериев между собой (синтетические А/B‑тесты) (YT, VK)

4️⃣Доверительные интервалы для метрик отношения, процентных изменений (uplift), персентилей. Методы повышения чувствительности метрик: работа с выбросами, CUPED (YT, VK)

5️⃣Методы повышения чувствительности метрик: стратификация, постстратификация. Проблема множественного тестирования. Проблема подглядывания и групповой последовательный тест (GST). Альтернативный метод работы с данными — Байес. Флоу анализа A/B‑тестов (YT, VK)

Я вот быстренько пробежался по 4 и 5 лекции, кажется годно.

#ab #analytics #courses

Датка + жизнь = блог

В самом начале моего пути в ML не было нормальной собранной информации в виде роадмапов и вообще нормальных подборок по ботке. Из уст в уста мы передавали легенды о том, кто и как проходил разные курсы или собесы, связанные с работой и уже после пытались построить свои планы схожим образом. Я буквально сутками пропадал в чатиках и форумах, жадно поглощая каждый пост, в каждом комментарии искал крупицу дополнительной информации. Коллеги всегда находили чем удивить: прорывными решениями, эпичными фейлами, нестандартными подходами или просто безумными экспериментами. Сейчас мои источники вдохновения тоже остались в мессенджерах и телеграм-каналах. По моим постам и подборкам вы наверняка 💯 понимаете, что я постоянно мониторю огромное количество DS-каналов.

Для меня это в первую очередь - живые знания, боевой опыт, который можно сразу применить, и просто крутанские фишечки и с личного опыта, и с работы, и с софтскиллов. Уверен, что вы тоже подписаны не только на мой канал, и также черпаете крупицы опыта у коллег, которые делятся своей жизнью в АйТи - кто-то ныряет в академические статьи, кто-то экспериментирует с нуля, а кто-то вообще переворачивает задачу с ног на голову.

Огромная сила кроется в многообразии и фокусе

Читая материалы разных авторов, мы расширям свои рамки, впитываем свежие идеи и подходы, которые могут стать изюминкой для наших собственных проектов и рисерча, мы учимся смотреть на челленджи под разными углами и находить неочевидные решени.

Нет одной волшебной формулы, а есть целая вселенная возможностей и траекторий к своей цели

Это не про пассивное чтение ленты. Это прокачка, прокачка и еще раз прокачка. Мы можем задавать жесткие вопросы, холиварить в комментариях, обсуждать свои идеи и гипотезы. И это круто, что мы можем учиться на чужих граблях и внедрять добытые знания в свои рабочие и личные проекты. А прикиньте еще как круто загореться идеей самим начать делиться опытом и знаниями.

Го использовать эту мощнейшую возможность. Специально для вас мы с командой сколотили убойную папку с DS-авторами: ссылка тут

Если нужны конкретные рекомендации, то по классике ловите:

▫️Наши слоны Никита с базой на LLM собесах и Дима с разваливанием собесов
▫️Даня, который сделал крутой аналитический сайт по картам Чебоксар
▫️Арина и ее путь в датасаенс с нуля
▫️И одновременно сюда же Ваня с его роадмапом с нуля до полноценного джуна
▫️Татьяна, которая идет к 300к в наносек, про ИИ и с чем его есть
▫️Легендарный Юра с применением AI в производстве
▫️В то же время Макс, который пишет о том, как навайбкодить с этим самым эйай
▫️Виталя с его историей про неудачный x3 к зп (та самая важная крупица информации)
▫️Конечно же Захар с его легендарным стартапом
▫️Андрей из Лавки пишет про то, где искать работу студенту
▫️Второй Андрей из финтеха с его тимлидскими заметками
▫️Ну и третий Андрей с его топовым роадмапом по диффузионкам
▫️Все разборы про TDA во временных рядах от Кирилла: 1, 2, 3
▫️Наш Паша, который тоже Техник, но живой про то, как устроена работа в Valve

Папка вот тут

#collaboration

Код с контекстом

Что, если весь код проекта скормить сеточке в промпт?

Во время работы с проектом мы можем передать много неструктурированной информации. В любом проекте полно файлов, которые к сути дела могут не относиться: логи, зависимости, тесты, или по классике старые закомментированные куски кода. Для нас это что-то типичное и не требующее внимания, причем мы уже на автомате это фильтруем за счет подсветки синтаксиса. А для модели - это некоторый шум, который при этом обрабатывается в памяти и занимает токены.

При этом, условный FastAPI занимает более 2M токенов, что естественно выше обычной длины контекстного окна для LLMок, при этом не забываем про размер эффективного контекстного окна. Запихнул туда большой проект целиком, и давай спрашивать сеточку, а что там да как там. Очень похоже на подготовку к экзаменам за пару дней, когда впихиваешь в гудящую голову все эти теоремы и доказательства, а потом на экзамене препод спрашивает базовую базу и ругается на то, что у тебя в голове опять все перемешалось.

На что учил, то и получил. Кстати, именно поэтому например сейчас в условных Курсорах и инструментах для вайбкодинга кодовая база прокидывается в виде RAGа над чанками текста

В структурном проекте обычно есть папки data, models, tests, src. Быстро пробежался по ним, и кажется вроде что-то понял. Для модели без описания структуры это может быть довольно проблематичным понять, что и с чем соотносится - особенно с файлами с одинаковым неймингом. Недостаточно просто кода, надо понимать, что один файл отвечает за конфиг для тренировки, а другой за конфиг для инференса.

К счастью, все сделано за нас. Заходим на Gitingest, вставляем ссылочку на наш гитхаб-репозиторий и получаем файлик с описанием структуры проекта и файлов в одном текстовом файлике. И дальше эту штуку можно закинуть как промпт, предварительно выкинув не нужные для нас файлы. Это конечно не RAG, но потыкаться с небольшими проектами самое то.

По сути мы закидываем не только код, но и автоматизируем подачу контекста. Ну кайф же чисто закинуть в условный google colab или aistudio потыкать код и попросить AI-стажера отрефакторить весь код проекта 😂

P.S. Кстати, у челов уже 12к звезд на гитхабе.

#llm #code