Как измерять расстояния?
В зависимости от типа анализа можно воспользоваться разными приемами.
1. Для географического анализа чаще всего используются следующие меры расстояния: евклидово расстояние, манхэттенское расстояние, расстояние Минковского, корреляционное расстояние Пирсона, корреляционное расстояние Спирмена (то же самое, что и Пирсона, только рассчитано для рангов), сетевое расстояние и геодезическое расстояние.
2. Для анализа пространственной статистики подходят евклидово и манхэттенское расстояния.
#geopython #distances

Подготовил ноутбук, в котором показываю как:
1. Загрузить границы города
2. Загрузить границы городских районов
3. Визуализировать на карте
4. Сохранить результаты на диск: интерактивная карта в html, данные в geopackage
5. Прочитать и визуализировать сохраненные данные
Используемая среда: Jupyter Notebook
Используемые библиотеки: geopandas
#geopython #geopandas #interactivemaps #openstreetmap
По ссылке код на GitHub https://github.com/KarimDataMaster/geo_python/tree/0cdf54937dde44cce0fd5eeb98913a728e02d15e/notebooks/1_Download%20administrative%20boundaries
В приложении к посту ноутбук в формате html и интерактивная карта
Вы сможете получить такой же результат самостоятельно, а если будут вопросы пишите и комментируйте, обсудим!

Прохожу курс Deep Learning School от МФТИ на Stepik Программа курса – Deep Learning (семестр 1, весна 2024) – Stepik
Курс ведет от основ машинного обучения до мультимодальной (текст, изображение, голос) обработки при помощи нейросетей.
Выкладываю ноутбук с первым домашним заданием. Простой пайплайн обучения логистической регрессии и методом KNN, поиск лучших параметров GridSearch.

Проводил исследование, чтобы проверить – можно ли при помощи гео анализа рассчитать, в какой зоне находится здание: на 1й линии или внутри кварталов. Такая информация может пригодиться при анализе и оценке коммерческой недвижимости. Результат порадовал. Морфометрический анализ городских территорий значительно ускоряется при помощи пакета momepy.
Гипотеза: если полигоны закрытой тесселяции зданий (т.е. ограниченные дорожной сетью) соприкасаются с дорожной сетью уровня motorway, trunk, primary, secondary, tertiary, то значит здание находится на первой линии, если нет соприкосновения - здание находится на второй линии.

Прикладываю ноутбук с результатами исследования.

Что такое пространственная автокорреляция?

Определение.
Это мера пространственной зависимости, ассоциации или корреляции между наблюдаемыми значениями одного и того же атрибута у соседних пространственных объектов.

Назначение.
Исследуется с целью определить наличие связи между значениями атрибутов соседних местоположений и закономерностей их распределения в пространстве.

Интерпретация.
Пространственная автокорреляция измеряет, насколько значение переменной в определенном месте связано со значениями той же переменной в соседних местоположениях. Например, соседние регионы имеют выраженную зависимость в уровне школьного образования.

Краткий обзор исследования пространственной автокорреляции на python есть на сайте библиотеки PySal. Ознакомиться можно по ссылке https://pysal.org/esda/notebooks/spatialautocorrelation.html

В 2022-2023 гг увлёкся темой Data Engineering. Интересно было познакомиться с современными решениями для хранения и обработки больших данных в машинном обучении. В апреле 2023 года успешно завершил 6 месячный курс от KarpovCourses. Впечатления от курса только положительные. Топовый состав преподавателей от Яндекс до Сбер. Разбор всего актуального стека от Greenplum до Spark, от Docker до AirFlow, плотная работа в облаках. Подготовленные лекции и домашние задания, неплохая поддержка на курсе. Прокачался в ETL процессах на SQL и Python. Задним умом понимаю, что решение было принято абсолютно верное, несмотря на высокий ценник.

На этом я решил не останавливаться и поступил на курс от Бауманского университета по специальности Архитектор данных. Курс успешно завершился сдачей итоговой выпускной работы, которая предусматривала создание архитектура для хранения данных в СУБД PostgreSQL, спарсенных из интернета, их обработку с целью дальнейшей передачи в модель машинного обучения, обучение модели, поднятие сервиса AirFlow в Docker контейнере, постановка на расписание и мониторинг результатов работы в ML Flow. Таким образом, годовой цикл погружения в Data Engineering, который начался в ноябре 2022 года завершился в ноябре 2023 года. Чему я откровенно рад, т.к. у меня появилось свободное время на погружение в Data Science, от которого я кайфую несравненного больше.