Forwarded from data.world (Mikhail Topnikov)
#города #экономика
Геочеки от ФНС
https://geochecki-vpd.nalog.gov.ru/geochecks
Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке.
Может пригодиться для исследований городских центров и решения геомаркетинговых задач
Геочеки от ФНС
https://geochecki-vpd.nalog.gov.ru/geochecks
Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке.
Может пригодиться для исследований городских центров и решения геомаркетинговых задач
👍2
Интересный сервис по поиску земельных участков для застройщиков и инвесторов https://www.udel.tech/ , основатель сервиса https://dorozhnij.com/
👎1
data.world
#города #экономика Геочеки от ФНС https://geochecki-vpd.nalog.gov.ru/geochecks Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке. Может пригодиться для исследований городских…
❗️Написал парсер данных Геочек с сайта ФНС, которые по ограничивающей геометрии скачивает информацию с сайта ФНС и преобразует в гео датафрейм
🔥2👀2
ESDA vs EDA
ESDA – Exploration Spatial Data Analysis (Исследовательский Анализ Пространственных Данных)
EDA –Exploration Data Analysis (Исследовательский Анализ Данных)
Определение
ESDA – это набор вычислительных методов и методов визуализации, используемых для анализа пространственных данных, путем:
- применения классической непространственной описательной статистики
- выявления пространственных взаимодействий, отношений и закономерностей с использованием матрицы пространственных весов, проверкой гипотез и различных показателей.
Методы и инструменты ESDA
- описание и обобщение распределения пространственных данных
- визуализация пространственного распределения
- изучение пространственной автокорреляции
- выявление пространственных выбросов
- выявление кластеров
- определение «горячих» и «холодных» точек
ESDA – Exploration Spatial Data Analysis (Исследовательский Анализ Пространственных Данных)
EDA –Exploration Data Analysis (Исследовательский Анализ Данных)
Определение
ESDA – это набор вычислительных методов и методов визуализации, используемых для анализа пространственных данных, путем:
- применения классической непространственной описательной статистики
- выявления пространственных взаимодействий, отношений и закономерностей с использованием матрицы пространственных весов, проверкой гипотез и различных показателей.
Методы и инструменты ESDA
- описание и обобщение распределения пространственных данных
- визуализация пространственного распределения
- изучение пространственной автокорреляции
- выявление пространственных выбросов
- выявление кластеров
- определение «горячих» и «холодных» точек
👍6
📚 Шпаргалки по статистике и теории вероятностей от Стэнфордского университета 🏫
stanford.edu
CME 106 - Statistics Cheatsheet
Teaching page of Shervine Amidi, Graduate Student at Stanford University.
Центрографическая статистика
Определение
Центрографическая статистика – это инструмент анализа географического распределения путем измерения центра. дисперсии и направленного тренда пространственного расположения.
Инструменты
Чаще всего используются такие центрографические статистики, как средний центр, медианный центр, центральный объект, стандартное расстояние и эллипс стандартного отклонения.
Отличия статистик
Центрографические статистики вычисляются на основе местоположений объектов, что является их главным отличием от описательных статистик, которые относятся только к непространственным атрибутам пространственных объектов.
Определение
Центрографическая статистика – это инструмент анализа географического распределения путем измерения центра. дисперсии и направленного тренда пространственного расположения.
Инструменты
Чаще всего используются такие центрографические статистики, как средний центр, медианный центр, центральный объект, стандартное расстояние и эллипс стандартного отклонения.
Отличия статистик
Центрографические статистики вычисляются на основе местоположений объектов, что является их главным отличием от описательных статистик, которые относятся только к непространственным атрибутам пространственных объектов.
❗️Принял участие вместе с командой в хакатоне IT Purple Hack с 9 по 15 марта.
Уже есть результаты на public (6 место) и private (9 место) лидербордах. Высокая плотность результатов в первой десятке , команды очень близко расположились, отличия в метриках всего лишь на тысячные доли. нами применяли разные подходы: feature engineering, бустинговые модели LightGBM, CatBoost, ансамблирование, стекинг. Понравилась наша командная работа, генерили разные подходы, обменивались идеями. Есть планы заскочить на гео кейс от Data Fusion. (кому интересно пишите здесь в комментарии или в личку, можем объединиться для участия в хакатоне Data Fusion)
Направление:
Искусственный интеллект
Заказчик:
Сбер
Задача:
Прогнозирование оттока зарплатного клиента ФЛ.
Описание задачи:
Клиент получает зарплату на карту банка A. Пока клиент получает зарплату в банке, он считается зарплатным клиентом банка A. В какой-то момент Х он перестает получать зарплату на карту банка A (событие оттока).
Необходимо до возникновения события оттока спрогнозировать его, используя данные поведения клиента: транзакции, продукты, мобильное приложение, терминалы, прочее.
Уже есть результаты на public (6 место) и private (9 место) лидербордах. Высокая плотность результатов в первой десятке , команды очень близко расположились, отличия в метриках всего лишь на тысячные доли. нами применяли разные подходы: feature engineering, бустинговые модели LightGBM, CatBoost, ансамблирование, стекинг. Понравилась наша командная работа, генерили разные подходы, обменивались идеями. Есть планы заскочить на гео кейс от Data Fusion. (кому интересно пишите здесь в комментарии или в личку, можем объединиться для участия в хакатоне Data Fusion)
Направление:
Искусственный интеллект
Заказчик:
Сбер
Задача:
Прогнозирование оттока зарплатного клиента ФЛ.
Описание задачи:
Клиент получает зарплату на карту банка A. Пока клиент получает зарплату в банке, он считается зарплатным клиентом банка A. В какой-то момент Х он перестает получать зарплату на карту банка A (событие оттока).
Необходимо до возникновения события оттока спрогнозировать его, используя данные поведения клиента: транзакции, продукты, мобильное приложение, терминалы, прочее.
Настройка Python проекта на Git
В рамках прохождения трека на ODS.ai «MLOps и production в DS исследованиях» выкладываю ссылку на git репозиторий по домашнему заданию. Можно клонировать и использовать в качестве шаблона для своих ML проектов на Python, получился полезный инструмент.
Цель этого домашнего задания подготовить репозиторий для работы в нем:
• настроить необходимые линтеры и форматеры
• описать конфиг pre-commit
• сформировать contributing.md где описано, что и как нужно делать в репозитории для внесения изменений
Для этого нужно выполнить следующие шаги:
1. Опубликовать репозиторий на gitlab (или аналоге, но курс ориентирован на gitlab).
2. Выбрать линтеры и форматеры. Можно выбирать те, которые озвучивались в материалах курса, или какие-то свои, которые вам привычны.
3. Зафиксировать необходимые зависимости для линтеров
4. Настроить pre-commit в репозитории
5. Провести настройки линтеров и форматеров в pyproject.toml, прописать основные параметры инструментов
6. Зафиксировать в contributing.md, как пользоваться линтерами в вашем проекте. Добавить в readme.md методологию ведения вашего репозитория
Сделано:
• Создан git-проект на Github, созданы две ветки (master – для кода в продакте, dev – препрод среда, остальные ветки создают участники команды исследования).
• Создано виртуальное окружение с использованием conda.
• Установлен python пакет pre-commit - фреймворк, использующий git pre-commit hook для запуска хуков (инструментов) перед созданием коммита.
• Установлены пакеты с линтерами и форматерами для настройки оформления python кода (ruff, black, pip-compile).
• Установлено poetry для формирования файла pyproject.toml
Ссылка на репозиторий KarimDataMaster/mlops_2024: Трек MLOps и production в DS в исследованиях 3.0 от ODS.ai (github.com)
Ссылка на трек от ODS.ai https://ods.ai/tracks/mlops3-course-spring-2024
Ссылка на статью, которая сильно помогла при выполнении ДЗ Лучшие open-source инструменты для Python проектов / Хабр (habr.com)
В рамках прохождения трека на ODS.ai «MLOps и production в DS исследованиях» выкладываю ссылку на git репозиторий по домашнему заданию. Можно клонировать и использовать в качестве шаблона для своих ML проектов на Python, получился полезный инструмент.
Цель этого домашнего задания подготовить репозиторий для работы в нем:
• настроить необходимые линтеры и форматеры
• описать конфиг pre-commit
• сформировать contributing.md где описано, что и как нужно делать в репозитории для внесения изменений
Для этого нужно выполнить следующие шаги:
1. Опубликовать репозиторий на gitlab (или аналоге, но курс ориентирован на gitlab).
2. Выбрать линтеры и форматеры. Можно выбирать те, которые озвучивались в материалах курса, или какие-то свои, которые вам привычны.
3. Зафиксировать необходимые зависимости для линтеров
4. Настроить pre-commit в репозитории
5. Провести настройки линтеров и форматеров в pyproject.toml, прописать основные параметры инструментов
6. Зафиксировать в contributing.md, как пользоваться линтерами в вашем проекте. Добавить в readme.md методологию ведения вашего репозитория
Сделано:
• Создан git-проект на Github, созданы две ветки (master – для кода в продакте, dev – препрод среда, остальные ветки создают участники команды исследования).
• Создано виртуальное окружение с использованием conda.
• Установлен python пакет pre-commit - фреймворк, использующий git pre-commit hook для запуска хуков (инструментов) перед созданием коммита.
• Установлены пакеты с линтерами и форматерами для настройки оформления python кода (ruff, black, pip-compile).
• Установлено poetry для формирования файла pyproject.toml
Ссылка на репозиторий KarimDataMaster/mlops_2024: Трек MLOps и production в DS в исследованиях 3.0 от ODS.ai (github.com)
Ссылка на трек от ODS.ai https://ods.ai/tracks/mlops3-course-spring-2024
Ссылка на статью, которая сильно помогла при выполнении ДЗ Лучшие open-source инструменты для Python проектов / Хабр (habr.com)
🔥2
Spatial Data Catalog - Каталог пространственных данных по подписке от компании CARTO
CARTO - компания на лидирующих мировых позициях в предоставлении пространственных сервисов и данных.
На сайте CARTO есть полезные разделы, один из них с обширным каталогом пространственных данных, которые можно использовать в разнообразных задачах по гео аналитике. Есть публичные данные (доступны после оформления демо-подписки) и платные.
Можно использовать этот каталог в качестве источника вдохновения для данных к вашим проектам. Попытаться найти бесплатные ресурсы и обработать, чтобы добиться похожих результатов.
На мой взгляд, этот подход к распространению данных является жизнеспособным и наиболее правильным с точки зрения монетизации. Не зря же один из флагманов делает упор именно на него.
А как вы считаете?
CARTO - компания на лидирующих мировых позициях в предоставлении пространственных сервисов и данных.
На сайте CARTO есть полезные разделы, один из них с обширным каталогом пространственных данных, которые можно использовать в разнообразных задачах по гео аналитике. Есть публичные данные (доступны после оформления демо-подписки) и платные.
Можно использовать этот каталог в качестве источника вдохновения для данных к вашим проектам. Попытаться найти бесплатные ресурсы и обработать, чтобы добиться похожих результатов.
На мой взгляд, этот подход к распространению данных является жизнеспособным и наиболее правильным с точки зрения монетизации. Не зря же один из флагманов делает упор именно на него.
А как вы считаете?
Типовые кейсы применения геопространственного анализа для ритейла
• Выявление пространственных кластеров с высокими и низкими значениями исследуемых параметров (Hotspot Analysis)
• Поиск областей‑двойников (Twin Area Analysis)
• Моделирование выручки планируемого магазина с учётом его месторасположения и окружения (Revenue Prediction)
• Расчёт коммерческой ёмкости месторасположения (White Space Analysis)
Прочитать подробнее можно в статье на Хабре
• Выявление пространственных кластеров с высокими и низкими значениями исследуемых параметров (Hotspot Analysis)
• Поиск областей‑двойников (Twin Area Analysis)
• Моделирование выручки планируемого магазина с учётом его месторасположения и окружения (Revenue Prediction)
• Расчёт коммерческой ёмкости месторасположения (White Space Analysis)
Прочитать подробнее можно в статье на Хабре
Хабр
Поиск локации для магазинов и другие истории
«‑ Мне ведь замуж пора выходить, Клавдия Матвеевна, а Володя — подходящая кандидатура. — Для тебя? — Да! Даже ЭВМ это подтвердила. — Ну если ЭВМ… Я, конечно, с ЭВМ тягаться...
🔥3❤1
Forwarded from 🌇 Каталог урбанистических каналов
Добро пожаловать в крупнейший каталог урбанистических каналов Telegram!
🏙 Откройте для себя мир урбанистики в России через наш уникальный каталог, где мы собрали самые информативные и вдохновляющие каналы, посвящённые архитектуре, градостроительству, транспорту, общественным пространствам и городской жизни.
💡 Что вы найдёте в нашем каталоге?
- Авторские каналы: Личные заметки и размышления экспертов, которые делятся своим видением и опытом в области урбанистики.
- Коллективные проекты: Каналы от команд и организаций, предлагающие глубокий анализ, новости и обсуждения актуальных городских вопросов.
- Тематическое разнообразие: От зелёных зон и экологии до транспортной инфраструктуры и культурных событий — все аспекты городской жизни в одном месте.
🔍 Удобная навигация
- Фильтрация по размеру: Найдите каналы, соответствующие вашим предпочтениям — от небольших, уютных сообществ до крупных информационных платформ.
- Поиск по тегам: Используйте теги для быстрого доступа к каналам, которые соответствуют вашим интересам. Будь то "Городское планирование", "Общественный транспорт" или "Архитектура" — легко находите то, что вам нужно.
🌟 Постоянное обновление
Каталог постоянно пополняется новыми каналами и обновлениями от уже существующих. Следите за обновлениями, чтобы всегда быть в курсе последних трендов и дискуссий в мире урбанистики России.
🤝 Присоединяйтесь к сообществу
Станьте частью активного и знающего сообщества, обсуждайте идеи, делитесь мнениями и получайте новые знания каждый день.
🔗 Перейти в каталог
🗂 Подписаться на каналы разом
upd: (ссылка устарела и папка содержит не все каналы)
***
Хотите добавить свой канал? Заполните анкету
Есть вопросы? Пишите нам через бота @urbancat_bot
🏙 Откройте для себя мир урбанистики в России через наш уникальный каталог, где мы собрали самые информативные и вдохновляющие каналы, посвящённые архитектуре, градостроительству, транспорту, общественным пространствам и городской жизни.
💡 Что вы найдёте в нашем каталоге?
- Авторские каналы: Личные заметки и размышления экспертов, которые делятся своим видением и опытом в области урбанистики.
- Коллективные проекты: Каналы от команд и организаций, предлагающие глубокий анализ, новости и обсуждения актуальных городских вопросов.
- Тематическое разнообразие: От зелёных зон и экологии до транспортной инфраструктуры и культурных событий — все аспекты городской жизни в одном месте.
🔍 Удобная навигация
- Фильтрация по размеру: Найдите каналы, соответствующие вашим предпочтениям — от небольших, уютных сообществ до крупных информационных платформ.
- Поиск по тегам: Используйте теги для быстрого доступа к каналам, которые соответствуют вашим интересам. Будь то "Городское планирование", "Общественный транспорт" или "Архитектура" — легко находите то, что вам нужно.
🌟 Постоянное обновление
Каталог постоянно пополняется новыми каналами и обновлениями от уже существующих. Следите за обновлениями, чтобы всегда быть в курсе последних трендов и дискуссий в мире урбанистики России.
🤝 Присоединяйтесь к сообществу
Станьте частью активного и знающего сообщества, обсуждайте идеи, делитесь мнениями и получайте новые знания каждый день.
🔗 Перейти в каталог
🗂 Подписаться на каналы разом
upd: (ссылка устарела и папка содержит не все каналы)
***
Хотите добавить свой канал? Заполните анкету
Есть вопросы? Пишите нам через бота @urbancat_bot
Очень крутая подборка урбанистических каналов. Спасибо за наводку https://www.tgoop.com/urban_data_mess
Telegram
GeoGosha
urbanism, complex networks and data
❤2
Earth Engine Data Catalog
A planetary-scale platform for Earth science data & analysis
Earth Engine's public data archive includes more than forty years of historical imagery and scientific datasets, updated and expanded daily.
Каталог со снимками и другими полезными пространственными данными.
Ссылка на датасеты https://developers.google.com/earth-engine/datasets
Ссылка на топик по обсуждению на gis.stackexchange.com
A planetary-scale platform for Earth science data & analysis
Earth Engine's public data archive includes more than forty years of historical imagery and scientific datasets, updated and expanded daily.
Каталог со снимками и другими полезными пространственными данными.
Ссылка на датасеты https://developers.google.com/earth-engine/datasets
Ссылка на топик по обсуждению на gis.stackexchange.com
Google for Developers
Earth Engine Data Catalog | Google for Developers
Google Earth Engine combines a multi-petabyte catalog of satellite imagery and geospatial datasets with planetary-scale analysis capabilities and makes it available for scientists, researchers, and developers to detect changes, map trends, and quantify differences…
🔥2
Геоаналитика на дашбордах в FineBI от GloweByte. На мой взгляд, инструменты BI будут наращивать потенциал по работе с пространственными данными и приближаться к веб-гис. При наличии нужных данных и команды геоаналитиков в компании можно будет закрывать разные практические кейсы. Есть ощущение, что конкуренция между похожими сервисами с геоаналитическимм инструментами будет сильно расти в ближайшее время и функционал примерно сравняется. Вопрос, что будет являться главным конкурентам преимуществом? Уникальные данные, подготовка умных предрассчитанных сервисов, возможность дополнить продажу приложения поддержкой команды DS или что-то другое? Поживем, увидим. А как обстоят дела на зарубежных рынках? Очень интересно посмотреть такой анализ. Не сталкивался на medium с подобными обзорами. Натолкнулся на статью на vc.ru с подборкой геоаналитических приложений и попробовал ее расширить. Готовлю список, выложу в ближайшее время. Буду благодарен, если поделитесь своими мыслями и опытом взаимодействия с похожими инструментами в комментариях.
❤2🫡1
Курс Геопространственный анализ данных (бета-версия)
ODS.ai (сообщество Open Data Science) подготовили новый открытый русскоязычный курс по геоаналитике. Срок обучения с 22 апреля по 22 июля. Уже можно записаться. Лично я жду много интересного в процессе и уже записался. Присоединяйтесь, объединяйтесь в команды и активно участвуйте!
Материалы курса будут полезны специалистам в области Data Scientist, поскольку позволят решать геопространственные задачи, а также проводить исследования в области Geospatial Data Science.
Ссылка на курс https://ods.ai/tracks/geoanalytics-course-spring24
ODS.ai (сообщество Open Data Science) подготовили новый открытый русскоязычный курс по геоаналитике. Срок обучения с 22 апреля по 22 июля. Уже можно записаться. Лично я жду много интересного в процессе и уже записался. Присоединяйтесь, объединяйтесь в команды и активно участвуйте!
Материалы курса будут полезны специалистам в области Data Scientist, поскольку позволят решать геопространственные задачи, а также проводить исследования в области Geospatial Data Science.
Ссылка на курс https://ods.ai/tracks/geoanalytics-course-spring24
🔥3👍1🤔1