Data Bar | О data-проектах

Пет-проект VILKY. Архитектура, исследования, дизайн.

Продолжаю рассказывать о нашем пет-проекте анализа зарплатных вилок в IT. Команда (Саша, Рома, Никита), ещё подключилась Снежана. Она занимается дизайном.

Месячный апдейт по проекту анализа IT зарплат:

1. Стали собирать исторические данные по ЗП за всё время.
2. Собираем вакансии сервиса vseti.app
3. Создали репозиторий на GitHub, появились первые пулл-реквесты.
4. Перенесли Airflow на Timeweb.
5. Дизайн. Сделали гайдбук.
6. Сделали первые исследования на данных.
7. Сделали лендинг и запустили рекламу канала.
8. Сделали манифест проекта.

1️⃣. Сбор исторических данных.
Стало понятно, что снепшоты, которые делаем каждый день, не решают ряд задач анализа, а хочется именно историю смотреть. Поэтому, собрали все доступные вакансии с Habr career и Finder.work. Finder.work - большой ресурс вакансий, там их более 2х млн, не только IT, а вообще все по отраслям. Это моя часть работы, сейчас собраны все возможные поля. Выше писал пост о геоанализе данных с Finder. В итоге, переходим от снепшотов к историческим данным и инкрементальному обновлению - каждый день смотрим какие вакансии появились, открыты и добавляем статусы на текущий день в базу. Проблема с нормализацией LLM - слишком дорого получается нормализовать исторические объёмы через YandexGPT или ChatGPT, поэтому, будем делать свою модель.

2️⃣. vseti.app - агрегатор IT вакансий. Постепенно подключаем другие сервисы. Парсер делал Рома, о том как работает, написал в своём канале.

Пункты 3️⃣ и 4️⃣ связаны с архитектурой и совместной разработкой. Всё делал Никита и написал об этом в своём канале. Здесь напишу, что это была большая архитектурная задача. Сейчас все можем пушить на гитхаб и работать с Airflow.

5️⃣. Дизайн. Это тоже очень большой шаг вперёд. Давно хотелось его сделать, но сами в дизайн мы не умеем. С этим помогла Снежана. Очень круто получился гайдбук, было переработано лого и выбраны основные цвета. Экспериментируем с подачей информации в канале: делали неделю Звёздных войн. Профиль Снежаны на Behance.

6️⃣. Исследования данных. Можно вытащить много интересного. Сделали несколько постов: "Как изменился найм в IT за 10 лет и что произошло с зарплатами?", "О падении числа вакансий на Habr", "Геоанализ вакансий по городам". Исследование и пост могут занимать несколько часов. Пока я делаю, но времени не хватает на глубокий анализ, стараемся раз в неделю публиковать.

7️⃣. Реклама сервиса и канала. Это задача у Ромы - он раньше много работал с рекламной сетью Яндекса и Директом. Всё настаивал Рома и написал у себя в канале. Запускали для теста посмотреть конверсии. Сейчас пересматриваем стратегию.

8️⃣. Манифест проекта. Обозначили цели, позиции и принципы проекта, прикрепили в канале.

Уникальных данных у нас сейчас много - можно делать детализированные отчёты и исследования, подключать LLM. Это всё в планах.

В канале @vilky_it сейчас 400+ подписчиков. Более 150 пришли после постов Димы Аношина о проекте в его канале "Инжиниринг данных". Спасибо ему огромное! 🎆

Please open Telegram to view this post

VIEW IN TELEGRAM

🔥13❤5

www.tgoop.com/data_bar/84

1.41K viewsAlexander Varlamov, May 14 at 07:01

Пет-проект VILKY. Архитектура, исследования, дизайн.

Продолжаю рассказывать о нашем пет-проекте анализа зарплатных вилок в IT. Команда (Саша, Рома, Никита), ещё подключилась Снежана. Она занимается дизайном.

Месячный апдейт по проекту анализа IT зарплат:

1. Стали собирать исторические данные по ЗП за всё время.
2. Собираем вакансии сервиса vseti.app
3. Создали репозиторий на GitHub, появились первые пулл-реквесты.
4. Перенесли Airflow на Timeweb.
5. Дизайн. Сделали гайдбук.
6. Сделали первые исследования на данных.
7. Сделали лендинг и запустили рекламу канала.
8. Сделали манифест проекта.

1️⃣. Сбор исторических данных.
Стало понятно, что снепшоты, которые делаем каждый день, не решают ряд задач анализа, а хочется именно историю смотреть. Поэтому, собрали все доступные вакансии с Habr career и Finder.work. Finder.work - большой ресурс вакансий, там их более 2х млн, не только IT, а вообще все по отраслям. Это моя часть работы, сейчас собраны все возможные поля. Выше писал пост о геоанализе данных с Finder. В итоге, переходим от снепшотов к историческим данным и инкрементальному обновлению - каждый день смотрим какие вакансии появились, открыты и добавляем статусы на текущий день в базу. Проблема с нормализацией LLM - слишком дорого получается нормализовать исторические объёмы через YandexGPT или ChatGPT, поэтому, будем делать свою модель.

2️⃣. vseti.app - агрегатор IT вакансий. Постепенно подключаем другие сервисы. Парсер делал Рома, о том как работает, написал в своём канале.

Пункты 3️⃣ и 4️⃣ связаны с архитектурой и совместной разработкой. Всё делал Никита и написал об этом в своём канале. Здесь напишу, что это была большая архитектурная задача. Сейчас все можем пушить на гитхаб и работать с Airflow.

5️⃣. Дизайн. Это тоже очень большой шаг вперёд. Давно хотелось его сделать, но сами в дизайн мы не умеем. С этим помогла Снежана. Очень круто получился гайдбук, было переработано лого и выбраны основные цвета. Экспериментируем с подачей информации в канале: делали неделю Звёздных войн. Профиль Снежаны на Behance.

6️⃣. Исследования данных. Можно вытащить много интересного. Сделали несколько постов: "Как изменился найм в IT за 10 лет и что произошло с зарплатами?", "О падении числа вакансий на Habr", "Геоанализ вакансий по городам". Исследование и пост могут занимать несколько часов. Пока я делаю, но времени не хватает на глубокий анализ, стараемся раз в неделю публиковать.

7️⃣. Реклама сервиса и канала. Это задача у Ромы - он раньше много работал с рекламной сетью Яндекса и Директом. Всё настаивал Рома и написал у себя в канале. Запускали для теста посмотреть конверсии. Сейчас пересматриваем стратегию.

8️⃣. Манифест проекта. Обозначили цели, позиции и принципы проекта, прикрепили в канале.

Уникальных данных у нас сейчас много - можно делать детализированные отчёты и исследования, подключать LLM. Это всё в планах.

В канале @vilky_it сейчас 400+ подписчиков. Более 150 пришли после постов Димы Аношина о проекте в его канале "Инжиниринг данных". Спасибо ему огромное! 🎆