Five-Stage IP Fabric
В наших ДЦ мы используем Clos-топологию - IP Fabric на базе EVPN/VXLAN.
Мы не гиперскейлер, поэтому стойки, а соотвественно и лифы не растут быстро, все ДЦ на старте запускаем как 3-Stage, далее по мере необходимости добавляем второй POD и переходим на 5-Stage.
Проводили плановые работы на сети по добавлению уровня super-spines в одном из ДЦ, все настроили, переключили линки dc gw(Datacenter Gateway) из spines в super-spines, базовые проверки показали, что все хорошо. Но вот загрузка линков на графиках была неравномерной, стали копать и обнаружили, что в underlay на dc gw не работает балансировка
Опция для балансировки была включена и работала уже давно, в 3-Stage проблем не было.
По офф документации Juniper ECMP включается так:
Потребовалось переприменить команду, которая включает ECMP:
На скринах наша топология, результат ДО и ПОСЛЕ выполненнных команд выше.
В качестве DC Gateway мы используем Juniper MX10003. В следующем году будем выполнять аналочные работы на другой платформе - Juniper MX304, интересно посмотреть повторится или нет.
P.S. Баг или фича?
В наших ДЦ мы используем Clos-топологию - IP Fabric на базе EVPN/VXLAN.
Мы не гиперскейлер, поэтому стойки, а соотвественно и лифы не растут быстро, все ДЦ на старте запускаем как 3-Stage, далее по мере необходимости добавляем второй POD и переходим на 5-Stage.
Проводили плановые работы на сети по добавлению уровня super-spines в одном из ДЦ, все настроили, переключили линки dc gw(Datacenter Gateway) из spines в super-spines, базовые проверки показали, что все хорошо. Но вот загрузка линков на графиках была неравномерной, стали копать и обнаружили, что в underlay на dc gw не работает балансировка
Опция для балансировки была включена и работала уже давно, в 3-Stage проблем не было.
По офф документации Juniper ECMP включается так:
To enable ECMP-based load balancing on a device:
Enable multipath with the multiple AS option in BGP on all devices in the IP Fabric.
EBGP, by default, selects one best path for each prefix and installs that route in the forwarding table. When BGP multipath is enabled, all equal-cost paths to a given destination are installed into the forwarding table. The multiple-as option enables load balancing between EBGP neighbors in different autonomous systems.
Потребовалось переприменить команду, которая включает ECMP:
delete protocols bgp group ip-fabric-underlay multipath multiple-as
commit
set protocols bgp group ip-fabric-underlay multipath multiple-as
commit
На скринах наша топология, результат ДО и ПОСЛЕ выполненнных команд выше.
В качестве DC Gateway мы используем Juniper MX10003. В следующем году будем выполнять аналочные работы на другой платформе - Juniper MX304, интересно посмотреть повторится или нет.
P.S. Баг или фича?
🔥8👾4👍3
tgoop.com/life_of_network_engineer/79
Create:
Last Update:
Last Update:
Five-Stage IP Fabric
В наших ДЦ мы используем Clos-топологию - IP Fabric на базе EVPN/VXLAN.
Мы не гиперскейлер, поэтому стойки, а соотвественно и лифы не растут быстро, все ДЦ на старте запускаем как 3-Stage, далее по мере необходимости добавляем второй POD и переходим на 5-Stage.
Проводили плановые работы на сети по добавлению уровня super-spines в одном из ДЦ, все настроили, переключили линки dc gw(Datacenter Gateway) из spines в super-spines, базовые проверки показали, что все хорошо. Но вот загрузка линков на графиках была неравномерной, стали копать и обнаружили, что в underlay на dc gw не работает балансировка
Опция для балансировки была включена и работала уже давно, в 3-Stage проблем не было.
По офф документации Juniper ECMP включается так:
Потребовалось переприменить команду, которая включает ECMP:
На скринах наша топология, результат ДО и ПОСЛЕ выполненнных команд выше.
В качестве DC Gateway мы используем Juniper MX10003. В следующем году будем выполнять аналочные работы на другой платформе - Juniper MX304, интересно посмотреть повторится или нет.
P.S. Баг или фича?
В наших ДЦ мы используем Clos-топологию - IP Fabric на базе EVPN/VXLAN.
Мы не гиперскейлер, поэтому стойки, а соотвественно и лифы не растут быстро, все ДЦ на старте запускаем как 3-Stage, далее по мере необходимости добавляем второй POD и переходим на 5-Stage.
Проводили плановые работы на сети по добавлению уровня super-spines в одном из ДЦ, все настроили, переключили линки dc gw(Datacenter Gateway) из spines в super-spines, базовые проверки показали, что все хорошо. Но вот загрузка линков на графиках была неравномерной, стали копать и обнаружили, что в underlay на dc gw не работает балансировка
Опция для балансировки была включена и работала уже давно, в 3-Stage проблем не было.
По офф документации Juniper ECMP включается так:
To enable ECMP-based load balancing on a device:
Enable multipath with the multiple AS option in BGP on all devices in the IP Fabric.
EBGP, by default, selects one best path for each prefix and installs that route in the forwarding table. When BGP multipath is enabled, all equal-cost paths to a given destination are installed into the forwarding table. The multiple-as option enables load balancing between EBGP neighbors in different autonomous systems.
Потребовалось переприменить команду, которая включает ECMP:
delete protocols bgp group ip-fabric-underlay multipath multiple-as
commit
set protocols bgp group ip-fabric-underlay multipath multiple-as
commit
На скринах наша топология, результат ДО и ПОСЛЕ выполненнных команд выше.
В качестве DC Gateway мы используем Juniper MX10003. В следующем году будем выполнять аналочные работы на другой платформе - Juniper MX304, интересно посмотреть повторится или нет.
P.S. Баг или фича?
BY Будни сетевика
Share with your friend now:
tgoop.com/life_of_network_engineer/79