TARMOLOV_WORK Telegram 208
Исторически мы с женой используем Flickr для хранения фотографий и накопили значительный семейный альбом, который очень не хочется потерять по воле случая.

Поэтому задумались, куда и как лучше зеркалировать фотографии для пущей сохранности. В рабочих проектах мы используем облачный S3 для хранения статических файлов. Один хороший SRE подсказал, что этот способ подойдет и для хранения фотографий — дешево и сердито.

С хранилищем определились. Теперь нужно понять, как перегнать данные из Flickr в S3. К слову, про "перегонку данных". А вы знали, что Amazon в течение нескольких лет предоставлял специальный сервис по миграции данных в датацентры Amazon с помощью... грузовиков? Но в итоге сервис не взлетел, вернее, не поехал :)

Мне не нужно перемещать петабайты данных, поэтому небольшой скриптик вполне подойдет. Высокоуровнево мне нужно сделать три шага:
1. Забрать данные через Flickr SDK.
2. Залить полученные данные в S3 Яндекс Облака через AWS SDK.
3. Написать небольшой скрипт с необходимой логикой.

После небольшой отладки скрипт заработал на моем ноутбуке. Но это только полдела. Необходимо, чтобы скрипт работал по расписанию без лишних затрат моей ментальной энергии.

Вот тут и пригодился мой NAS-сервер Synology. Обычно я его использую как хранилище для фильмов, но сервер способен решить и более интересные задачки:
1. С помощью docker-контейнера настроил окружение для своего скрипта.
2. Далее через встроенный механизм Task Scheduler настроил ежедневный запуск своего скрипта вот такой командой:
docker exec flickr-backup /bin/bash -c "SECRETS_PATH=/etc/flickr-backup/secrets.json node /usr/local/flickr-backup/index.js"


Не зря Рей Далио советует всем учить программирование. Программирование расширяет ваши возможности и позволяет эффективно решить прикладные задачи не только для рабочих, но и для личных нужд. Например, забекапить свои личные фотографии ;)

#разработка



tgoop.com/tarmolov_work/208
Create:
Last Update:

Исторически мы с женой используем Flickr для хранения фотографий и накопили значительный семейный альбом, который очень не хочется потерять по воле случая.

Поэтому задумались, куда и как лучше зеркалировать фотографии для пущей сохранности. В рабочих проектах мы используем облачный S3 для хранения статических файлов. Один хороший SRE подсказал, что этот способ подойдет и для хранения фотографий — дешево и сердито.

С хранилищем определились. Теперь нужно понять, как перегнать данные из Flickr в S3. К слову, про "перегонку данных". А вы знали, что Amazon в течение нескольких лет предоставлял специальный сервис по миграции данных в датацентры Amazon с помощью... грузовиков? Но в итоге сервис не взлетел, вернее, не поехал :)

Мне не нужно перемещать петабайты данных, поэтому небольшой скриптик вполне подойдет. Высокоуровнево мне нужно сделать три шага:
1. Забрать данные через Flickr SDK.
2. Залить полученные данные в S3 Яндекс Облака через AWS SDK.
3. Написать небольшой скрипт с необходимой логикой.

После небольшой отладки скрипт заработал на моем ноутбуке. Но это только полдела. Необходимо, чтобы скрипт работал по расписанию без лишних затрат моей ментальной энергии.

Вот тут и пригодился мой NAS-сервер Synology. Обычно я его использую как хранилище для фильмов, но сервер способен решить и более интересные задачки:
1. С помощью docker-контейнера настроил окружение для своего скрипта.
2. Далее через встроенный механизм Task Scheduler настроил ежедневный запуск своего скрипта вот такой командой:

docker exec flickr-backup /bin/bash -c "SECRETS_PATH=/etc/flickr-backup/secrets.json node /usr/local/flickr-backup/index.js"


Не зря Рей Далио советует всем учить программирование. Программирование расширяет ваши возможности и позволяет эффективно решить прикладные задачи не только для рабочих, но и для личных нужд. Например, забекапить свои личные фотографии ;)

#разработка

BY Тармолов про работу


Share with your friend now:
tgoop.com/tarmolov_work/208

View MORE
Open in Telegram


Telegram News

Date: |

3How to create a Telegram channel? Public channels are public to the internet, regardless of whether or not they are subscribed. A public channel is displayed in search results and has a short address (link). 4How to customize a Telegram channel? It’s easy to create a Telegram channel via desktop app or mobile app (for Android and iOS): How to create a business channel on Telegram? (Tutorial)
from us


Telegram Тармолов про работу
FROM American