Рабочая поездка в Казахстан.
День второй.
По задумке организаторов митапа мы должны были подняться на канатной дороге курорта Шимбулак на 3200 м, но последний участок канатки был закрыт и нас довезли только на 2600 м.
Погода была суровая - снегопад и туман, из-за которых не было ничего видно дальше 10-15 метров.
Самые подготовленные(отчаянные) поднялись пешком по склону на 3200 м. Мы с @ArkadiyMarisenkov (архитектор нашего OkkoCDN) тоже попробовали, но остановились на 3100 м.
Горные виды нам так и не открылись, но тимбилдинг и нетворкинг все компенсировали.
День второй.
По задумке организаторов митапа мы должны были подняться на канатной дороге курорта Шимбулак на 3200 м, но последний участок канатки был закрыт и нас довезли только на 2600 м.
Погода была суровая - снегопад и туман, из-за которых не было ничего видно дальше 10-15 метров.
Самые подготовленные(отчаянные) поднялись пешком по склону на 3200 м. Мы с @ArkadiyMarisenkov (архитектор нашего OkkoCDN) тоже попробовали, но остановились на 3100 м.
Горные виды нам так и не открылись, но тимбилдинг и нетворкинг все компенсировали.
❤7🔥2👏2
Рабочая поездка в Казахстан.
День третий.
Собственно сам митап, ради которого все и затевалось. В этот раз без доклада, хотя идея была и @LoxmatiyMamont ее одобрил, но трезво оценив свои возможности Я решил расслабиться и просто пообщаться с коллегами по цеху.
Доклады все не видел, поэтому отмечу только Сергея Бочарникова с его «RIP BGP”. Обязательно посмотрите в записи.
Я такие вещи люблю, особенно когда есть:
1. Инженерный подход
2. Вызов или доказательство спорного факта
Кстати, Серега написал еще и статью по мотивам своего доклада. В общем двойной лайк👍
Были надежды на трек про SRE, но коннект не случился, подача мне не зашла, со многими аспектами я был не согласен, но лично пообщаться с выступающими не получилось.
В любом случае спасибо организаторам и спикерам, это все очень и очень не просто организовать и подготовить.
P.S. Кто же всё-таки такой, этот SRE-инженер?
День третий.
Собственно сам митап, ради которого все и затевалось. В этот раз без доклада, хотя идея была и @LoxmatiyMamont ее одобрил, но трезво оценив свои возможности Я решил расслабиться и просто пообщаться с коллегами по цеху.
Доклады все не видел, поэтому отмечу только Сергея Бочарникова с его «RIP BGP”. Обязательно посмотрите в записи.
Я такие вещи люблю, особенно когда есть:
1. Инженерный подход
2. Вызов или доказательство спорного факта
Кстати, Серега написал еще и статью по мотивам своего доклада. В общем двойной лайк👍
Были надежды на трек про SRE, но коннект не случился, подача мне не зашла, со многими аспектами я был не согласен, но лично пообщаться с выступающими не получилось.
В любом случае спасибо организаторам и спикерам, это все очень и очень не просто организовать и подготовить.
P.S. Кто же всё-таки такой, этот SRE-инженер?
👍8❤2🔥1
Вышел в свет доклад про «Путь к успеху» сетевиков Okko в автоматизации сетевой инфраструктуры.
Выступал опять же на linkmeetup, который в этот раз прошел в Новосибирске в октябре 2024г.
Основные тезисы доклада:
🟢 Как от простых скриптов мы пришли к подходу Network as Code
🟢 Как устроен pipeline и насколько он непрерывный
🟢 Как не сойти с ума от постоянных изменений в access
list’ах
🟢 Про мою любимую фишку - посмотреть diff изменений перед деплоем на production. Звучит так, что это логично и так должно быть у всех и всегда, но появилась она у нас не сразу, поэтому все еще каждый раз глаз радуется при запуске
🟢 Все на завод в k8s. Зачем? (Тут очень кратко)
За 30мин сложно все рассказать, поэтому в планах в 2025 написать статью, где в деталях раскрыть некоторые тонкости.
P.S. за 3 дня 1.5К просмотров и пока еще никто не написал, что сделали херню, кто-то даже похвалил. Считаю успех.
Выступал опять же на linkmeetup, который в этот раз прошел в Новосибирске в октябре 2024г.
Основные тезисы доклада:
list’ах
За 30мин сложно все рассказать, поэтому в планах в 2025 написать статью, где в деталях раскрыть некоторые тонкости.
P.S. за 3 дня 1.5К просмотров и пока еще никто не написал, что сделали херню, кто-то даже похвалил. Считаю успех.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9
Forwarded from linkmeup
Ближайшие два дня дико тусим на Хайлоад++ в Москве, например. Есть планы наделать контента, а если кто захочет пообщаться лично - велкам на стенд постгреса.
А для тех, кто пропускает главную айтишную фабрику тщеславия, предлагаю посмотреть доклад Дмитрия Ипатова с линкмитапа. Тема была "Как DevOps поменял всё и вывел команду сетевиков на подход Network as a Code".
https://www.youtube.com/watch?v=ei2eSoEgAVg
А для тех, кто пропускает главную айтишную фабрику тщеславия, предлагаю посмотреть доклад Дмитрия Ипатова с линкмитапа. Тема была "Как DevOps поменял всё и вывел команду сетевиков на подход Network as a Code".
https://www.youtube.com/watch?v=ei2eSoEgAVg
YouTube
От консоли к коду: как DevOps поменял правила игры. Дмитрий Ипатов
- Как мы пришли к подходу Network as Code;
- Технологический стек автоматизации и устройство Pipeline;
- Сетевики не нужны или как научить всех самостоятельно управлять ACL;
- Как быть уверенным в том, что применится именно то, что ты планировал;
- Зачем…
- Технологический стек автоматизации и устройство Pipeline;
- Сетевики не нужны или как научить всех самостоятельно управлять ACL;
- Как быть уверенным в том, что применится именно то, что ты планировал;
- Зачем…
🔥6👍5
Для того чтобы наши пользователи смотрели киношки, live-трансляции и TV-каналы нужен CDN, у нас есть свой - OkkoCDN. Для сглаживания разовых пиков(например популярная live-трансляция) мы также используем партнерские CDN.
Немного статистики как изменились объемы раздачи трафика за год.
2023год
Пик OkkoCDN - 1.61 Tbps
Пик Общий (OkkoCDN + партнерские CDN) - 2.08 Tbps
2024год
Пик OkkoCDN - 3.47 Tbps
Пик Общий (OkkoCDN + партнерские CDN) - 6.52 Tbps
Итого, рост по трафику составил x3!
Было сложно, но интересно и драйвово.
Сетевые железки и серверы, которые передают биты от точки А до точки Б плюс/минус у всех одинаковые, но как и всегда все зависит от людей. У нас отличная команда, которая топит за сервис, который делает, поэтому со всем справились 💪
P.S. Вот я написал «нужен CDN», но иногда слышу «нужнА CDN». Если перевести дословно, то CDN - это сеть доставки контента, получается правильно «нужнА CDN». Но мы уже привыкли, что нам «нужен CDN». Кого-то еще волнует этот вопрос?😅
Немного статистики как изменились объемы раздачи трафика за год.
2023год
Пик OkkoCDN - 1.61 Tbps
Пик Общий (OkkoCDN + партнерские CDN) - 2.08 Tbps
2024год
Пик OkkoCDN - 3.47 Tbps
Пик Общий (OkkoCDN + партнерские CDN) - 6.52 Tbps
Итого, рост по трафику составил x3!
Было сложно, но интересно и драйвово.
Сетевые железки и серверы, которые передают биты от точки А до точки Б плюс/минус у всех одинаковые, но как и всегда все зависит от людей. У нас отличная команда, которая топит за сервис, который делает, поэтому со всем справились 💪
P.S. Вот я написал «нужен CDN», но иногда слышу «нужнА CDN». Если перевести дословно, то CDN - это сеть доставки контента, получается правильно «нужнА CDN». Но мы уже привыкли, что нам «нужен CDN». Кого-то еще волнует этот вопрос?😅
🔥8🏆3
Красноярск — город-миллионник, один из наиболее крупных городов Сибири, является географическим центром России и находится на берегах реки Енисей. Город отличают горные пейзажи и ландшафты, сибирский лес и многим известный заповедник «Столбы» - природный парк площадью 50 тысяч га.
К чему я это?
На днях запустили в Красноярске еще одну точку присутствия OkkoCDN, на данный момент узел может раздавать ~100 Gbps. Это не конечная емкость кластера, стартуем обычно со 100-150Gbps, в процессе эксплуатации узел будет развиваться.
Точка присутствия CDN (англ. PoP - point of present) - кэширующий сервер(или группа серверов), расположенный в определенной географической точке/локации, например в Красноярске.
К чему я это?
На днях запустили в Красноярске еще одну точку присутствия OkkoCDN, на данный момент узел может раздавать ~100 Gbps. Это не конечная емкость кластера, стартуем обычно со 100-150Gbps, в процессе эксплуатации узел будет развиваться.
Точка присутствия CDN (англ. PoP - point of present) - кэширующий сервер(или группа серверов), расположенный в определенной географической точке/локации, например в Красноярске.
Мое первое место работы - НТЦ Протей.
Портфель продуктов в Протее большой, я работал в отделе 112, соответственно мы запускали Систему-112, внедрения были почти по всей России, приходилось много ездить.
Иногда приходилось выполнять все «под ключ»:
🟢 Монтаж серверов, сетевого оборудования и их настройка
🟢 Общение с операторами связи, настройка Интернета на площадке и телефонии(поток E1, SIP-транк)
🟢 Установка АРМов (рабочее место оператора) - комп, моник, мышка
🟢 Прохождение ПМИ с комиссией
🟢 Обучение операторов работать с системой - как принимать вызовы, как заполнять карточки, как привлекать службы и все в этом духе.
Один раз 3 недели подряд обучал специалистов из различных служб в одном регионе. Они привыкли принимать вызовы по телефону, записывать все журнал - делали это хорошо и ответственно, но пришла цифровизация. С компьютерами почти все были на «Вы», некоторые не знали даже что такое «Пуск» в Windows. Все боялись, что их уволят с работы если они не научатся. Это обучение останется в моей памяти навсегда 🤪, но никого не уволили и все научились, сделал что мог, но больше не хочу 🙃
Тут хочу сказать, что во-первых любую работу надо делать хорошо, даже если тебе в моменте что-то не нравится. Во-вторых, от каждого из нас зависит много. Пример, когда мы семьей попали в аварию на трассе и нужно было вызвать сразу все службы(скорую, мчс, полицию) - все приехали за ~40мин (по навигатору путь занимает 40мин), если еще заложить время на реакцию, то делаю вывод что операторы всех служб сделали все максимально правильно. Я к этому отношусь так, что мое старание на обучении помогло мне в этой ситуации. Как-то так 🙂
Был случай, когда я приехал на объект для настройки серверов, которые уже должны были быть смонтированы, а по факту оказалось, что в серверной нет пола, идет ремонт. Что ж, пришлось помогать.
Иногда в командировках были только выставки, где мы показывали свои решения - запомнились «Комплексная Безопасность» на ВДНХ в Москве и Russia Arms Expo в Нижнем Тагиле.
В то время(2015-2018) были очень распространены эти таблички «Я люблю CityName» и мне нравилось их коллекционировать.
На фотках далеко не все города, за кадром остались:
🟢 Тула
🟢 Омск
🟢 Обнинск
🟢 Екатеринбург
🟢 Нижний Тагил
🟢 Нальчик
🟢 Баксан
🟢 Тырныауз
🟢 Магас
🟢 Невинномысск
P.S. Куда эти таблички пропали?Сейчас их почти нигде нет, если только где-то забыли снести.
Портфель продуктов в Протее большой, я работал в отделе 112, соответственно мы запускали Систему-112, внедрения были почти по всей России, приходилось много ездить.
Иногда приходилось выполнять все «под ключ»:
Один раз 3 недели подряд обучал специалистов из различных служб в одном регионе. Они привыкли принимать вызовы по телефону, записывать все журнал - делали это хорошо и ответственно, но пришла цифровизация. С компьютерами почти все были на «Вы», некоторые не знали даже что такое «Пуск» в Windows. Все боялись, что их уволят с работы если они не научатся. Это обучение останется в моей памяти навсегда 🤪, но никого не уволили и все научились, сделал что мог, но больше не хочу 🙃
Тут хочу сказать, что во-первых любую работу надо делать хорошо, даже если тебе в моменте что-то не нравится. Во-вторых, от каждого из нас зависит много. Пример, когда мы семьей попали в аварию на трассе и нужно было вызвать сразу все службы(скорую, мчс, полицию) - все приехали за ~40мин (по навигатору путь занимает 40мин), если еще заложить время на реакцию, то делаю вывод что операторы всех служб сделали все максимально правильно. Я к этому отношусь так, что мое старание на обучении помогло мне в этой ситуации. Как-то так 🙂
Был случай, когда я приехал на объект для настройки серверов, которые уже должны были быть смонтированы, а по факту оказалось, что в серверной нет пола, идет ремонт. Что ж, пришлось помогать.
Иногда в командировках были только выставки, где мы показывали свои решения - запомнились «Комплексная Безопасность» на ВДНХ в Москве и Russia Arms Expo в Нижнем Тагиле.
В то время(2015-2018) были очень распространены эти таблички «Я люблю CityName» и мне нравилось их коллекционировать.
На фотках далеко не все города, за кадром остались:
P.S. Куда эти таблички пропали?Сейчас их почти нигде нет, если только где-то забыли снести.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17👍8
Челябинск - город миллионник, крупный промышленный мегаполис, деловой, научный и культурный центр Южного Урала. Необычно, но на гербе города изображен верблюд. Верблюд помещён на герб Челябинска в знак того, что город богат товарами и его развитие зависит от успехов в торговле, на это же указывает зелёное поле, символ надежды и изобилия.
А про Челябинск тут, потому что мы запустили очередной сервер раздачи OkkoCDN по схеме «Операторский кэш» в Челябинске с коллегами из Интерсвязь.
Операторский кэш - все понятно из названия, схема когда сервер размещается на сети оператора связи и раздает контент собственно клиентам этого же оператора.
Для чего это нужно нам:
🟢 Мы ставим сервер максимально близко к пользователям, повышаем качество - контент будет отдаваться максимально быстро
🟢 Мы не платим за трафик, который отдаем с сервера
Для чего это нужно оператору:
🟢 Оператор не платит за трафик своим аплинкам, т.к. все работает внутри его сети
🟢 Повышает качества работы нашего сервиса для своих абонентов
Одни плюсы, осталось найти бесплатные серверы 🙂
А про Челябинск тут, потому что мы запустили очередной сервер раздачи OkkoCDN по схеме «Операторский кэш» в Челябинске с коллегами из Интерсвязь.
Операторский кэш - все понятно из названия, схема когда сервер размещается на сети оператора связи и раздает контент собственно клиентам этого же оператора.
Для чего это нужно нам:
Для чего это нужно оператору:
Одни плюсы, осталось найти бесплатные серверы 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥7👏4
Five-Stage IP Fabric
В наших ДЦ мы используем Clos-топологию - IP Fabric на базе EVPN/VXLAN.
Мы не гиперскейлер, поэтому стойки, а соотвественно и лифы не растут быстро, все ДЦ на старте запускаем как 3-Stage, далее по мере необходимости добавляем второй POD и переходим на 5-Stage.
Проводили плановые работы на сети по добавлению уровня super-spines в одном из ДЦ, все настроили, переключили линки dc gw(Datacenter Gateway) из spines в super-spines, базовые проверки показали, что все хорошо. Но вот загрузка линков на графиках была неравномерной, стали копать и обнаружили, что в underlay на dc gw не работает балансировка
Опция для балансировки была включена и работала уже давно, в 3-Stage проблем не было.
По офф документации Juniper ECMP включается так:
Потребовалось переприменить команду, которая включает ECMP:
На скринах наша топология, результат ДО и ПОСЛЕ выполненнных команд выше.
В качестве DC Gateway мы используем Juniper MX10003. В следующем году будем выполнять аналочные работы на другой платформе - Juniper MX304, интересно посмотреть повторится или нет.
P.S. Баг или фича?
В наших ДЦ мы используем Clos-топологию - IP Fabric на базе EVPN/VXLAN.
Мы не гиперскейлер, поэтому стойки, а соотвественно и лифы не растут быстро, все ДЦ на старте запускаем как 3-Stage, далее по мере необходимости добавляем второй POD и переходим на 5-Stage.
Проводили плановые работы на сети по добавлению уровня super-spines в одном из ДЦ, все настроили, переключили линки dc gw(Datacenter Gateway) из spines в super-spines, базовые проверки показали, что все хорошо. Но вот загрузка линков на графиках была неравномерной, стали копать и обнаружили, что в underlay на dc gw не работает балансировка
Опция для балансировки была включена и работала уже давно, в 3-Stage проблем не было.
По офф документации Juniper ECMP включается так:
To enable ECMP-based load balancing on a device:
Enable multipath with the multiple AS option in BGP on all devices in the IP Fabric.
EBGP, by default, selects one best path for each prefix and installs that route in the forwarding table. When BGP multipath is enabled, all equal-cost paths to a given destination are installed into the forwarding table. The multiple-as option enables load balancing between EBGP neighbors in different autonomous systems.
Потребовалось переприменить команду, которая включает ECMP:
delete protocols bgp group ip-fabric-underlay multipath multiple-as
commit
set protocols bgp group ip-fabric-underlay multipath multiple-as
commit
На скринах наша топология, результат ДО и ПОСЛЕ выполненнных команд выше.
В качестве DC Gateway мы используем Juniper MX10003. В следующем году будем выполнять аналочные работы на другой платформе - Juniper MX304, интересно посмотреть повторится или нет.
P.S. Баг или фича?
🔥8👾4👍3
Онлайн-кинотеатры и ipv6 в РФ
Решил проверить, кто из онлайн-кинотеатров запустил у себя ipv6. Возьмем ТОП-10 в РФ по версии dtf.
Простая проверка с помощью nslookup, проверяем есть ли АААА-запись.
nslookup -type=AAAA <сайт онлайн-кинотеатра>
Как видим, только Кинопоиск имеет поддержку ipv6.
Запустил у них просмотр фильма, получил ссылку:
Проверим их узел CDN, ссылку на который получили:
То есть на раздаче у них также работает ipv6. Молодцы 💪
P.S. Проделаю упражнение посмотреть киношку по ipv6.
Решил проверить, кто из онлайн-кинотеатров запустил у себя ipv6. Возьмем ТОП-10 в РФ по версии dtf.
Простая проверка с помощью nslookup, проверяем есть ли АААА-запись.
nslookup -type=AAAA <сайт онлайн-кинотеатра>
Пример, нет АААА-записи
nslookup -type=AAAA okko.tv
Non-authoritative answer:
*** Can't find okko.tv: No answer
Пример, есть АААА-запись
nslookup -type=AAAA hd.kinopoisk.ru
Non-authoritative answer:
hd.kinopoisk.ru has AAAA address 2a02:6b8::473
Как видим, только Кинопоиск имеет поддержку ipv6.
Запустил у них просмотр фильма, получил ссылку:
https://strm-spbmiran-14.strm.yandex.net/vod/vh-ottenc-converted/vod-content/845e6365bf964dd288decd3612928ce1/15459094x1734443951x4712df1b-3e0a-4491-a596-f307c206cabc/kaltura/dash_drm_sdr_hd_avc_aac_7d3e19d6b66d2ecda2b36c92833be98b/845e6365bf964dd288decd3612928ce1/ysign1=0a67c546bca64763182863dc52ffb8bd5098af94b19ee1e791c8956e7d1ff958,abcID=1358,cpids=2,lid=279,pfx,prerolls=6241c93c086043538bd713e76088c713%2A124168532997120232_1734540790%2Akaltura%2Adash_clear_sdr_hd_avc_ec3,ts=6779fb7c/ysign2=f5c8a51a160b5e8d31b0c0b7de2b769bf798a6bd01f82598af0b228cc11e6f1c,fps=25.00,label=1080p,secret_version=ver-1,ts=6779fb7c,vbrt=6144,vcodec=H264,vh=804,vw=1920,ysign1/vid0/fragment-2-v1.m4s?vsid=fe54e05a9c5fe331d3eaa2eed459bc33734c54fbe51bxFLMx4670x1735132080&ottsession=3ef0389ace82480a95b0169dfa64d3ce&source_index=1&deranged=1&packager=1&mp4tb90k=1&bufSize=3.737&t=1735132082190
Проверим их узел CDN, ссылку на который получили:
nslookup -type=AAAA strm-spbmiran-14.strm.yandex.net
Non-authoritative answer:
strm-spbmiran-14.strm.yandex.net has AAAA address 2a02:6b8:c56:1:0:584:0:e
То есть на раздаче у них также работает ipv6. Молодцы 💪
P.S. Проделаю упражнение посмотреть киношку по ipv6.
1🔥14👍6🤔3🤝1