На прошлом месте работы в вузе 👨‍🏫, будучи начальником отдела анализа данных, я часто рассказывал про открытую науку, которая включает 6 составляющих:

1️⃣ открытые данные
2️⃣ открытый доступ
3️⃣ открытая методика исследования
4️⃣ открытый исходный код 🖥 🐼
5️⃣ открытая экспертная оценка
6️⃣ открытое образование

👉 Подробно разбираю каждый термин в статье по ссылке. Планирую развивать эту тему и далее.

👉 Свой диплом по анализу сетевого трафика (2009 года) оформил по правилам открытой науки: по ссылке доступны исходные данные (ARFF), программы (🖥, SQL) и методика исследования 👨‍🔬

На сайте большое обновление: на странице с лекциями по Python появились упражнения по каждой из тем (больше 80 различных заданий 🔥):

👉 Упражнения к занятию 1
👉 Упражнения к занятию 2
👉 Упражнения к занятию 3
👉 Упражнения к занятию 4
👉 Упражнения к занятию 5
👉 Упражнения по NumPy

Enjoy! 🖥

👋 О чем этот блог? Пост для новых друзей

Привет, я Дима (@dm_fedorov), руководитель образовательных проектов в Positive Technologies (@cyber_edu) 🔴 и Python-евангелист 🖥.

Здесь я делюсь своим опытом: пишу про обработку данных на языке Python 🐼, управление проектами и преподавание.

А еще я автор книги об основах программирования! 👨‍🏫

Буду рад новым знакомствам 😊

Ниже собрал для вас несколько полезных ссылок 👇

0️⃣ Уроки про Python

1️⃣ Бесплатный открытый онлайн-курс по Python (Лекториум)

2️⃣ Введение в pandas

3️⃣ Уроки по визуализации данных

4️⃣ Кейсы и упражнения про pandas

Новая статья об экосистеме пакетов для анализа данных 🐍🐼

https://www.securitylab.ru/blog/personal/DFedorov/352651.php

Аналитик данных - это исследователь (об этом тут) 🔭

Подход к разработке на Python 🐍 для исследователей основан на трех взаимосвязанных идеях.

👉 Открытая наука (подробнее тут): обеспечение свободного доступа к данным, методам и результатам для всех путем их публикации в соответствии с открытыми лицензиями.

👉 Воспроизводимое исследование: обеспечение того, чтобы любой, у кого есть доступ к данным и ПО, мог воспроизвести результаты, как для их проверки, так и для их дальнейшего использования.

👉 Устойчивое программное обеспечение: легкость его обслуживания и расширения, а не полная замена.

Люди часто смешивают эти три концепции, но они отличаются. Например, если вы делитесь своими данными и программами, которые их анализируют, но не документируете, какие шаги и в каком порядке нужно предпринять, то ваша работа будет открытой, но невоспроизводимой. И наоборот, если вы полностью автоматизируете свой анализ, но ваши данные доступны только людям в вашей лаборатории, то ваша работа воспроизводима, но не открыта.

Продолжение текста по ссылке.

Первым шагом в анализе данных является загрузка и первоначальная обработка данных. Прежде чем это сделать, стоит подумать, как мы собираемся организовать проект, какой способ хранения файлов выберем 🤔

Рассмотрим подробнее один из вариантов структуры каталогов.
Продолжить чтение по ссылке.

Долго думал, с какой стороны зайти в тему командной оболочки GNU/Linux, 🤔 и пошел самым простым путем - показал примеры в Google Colab.

Решаем задачу подсчета количества строк в наборе файлов и разбираемся в UNIX-каналах (pipe) 💪

👉 Версия статьи в HTML и интерактив в CoLab 🐍

Друзья 👋, появилось конструктивное предложение о дальнейшем развитии нашего аналитического Python сообщества! 🖥

1️⃣ За время существования группы, а появилась она 4 года назад 😱, выросло целое поколение программистов, владеющих основами Python, и накопилось множество полезных материалов, не связанных напрямую с анализом данных 🐼: о развитии сообщества вокруг открытого кода 🖥, преподавании, автоматизации рутинных задач, устройстве интерпретатора языка и др.

2️⃣ За прошедший год я успел сменить место работы и теперь руковожу образовательными проектами в компании Positive Technologies ⬜️, занимающейся разработкой средств кибербезопасности 🥷. После двенадцати лет преподавания в вузе 👨‍🏫 это новый и интересный для меня опыт, которым тоже хочется поделиться.

3️⃣ В связи с этими изменения я принял волевое решение 💪 существенно расширить список публикуемых в группе тем.

4️⃣ Встречайте — Этюды для программистов на Python. Название навеяно книгой Чарльза Уэзерелла "Этюды для программистов" и фортепианными этюдами Листа, Шопена и Шумана ❤️

Остаемся на связи! 🖥
@dm_fedorov

Существует миф о том, что гуманитарию сложно понять компьютерные науки, а мир строго делится на физиков и лириков. Проверим, так ли это? 🧐