NSX-V ECMP 설정에 대한 이해

테스트 목표

ECMP 설정에 대한 이해와 옵션에 대한 고려 사항을 확인한다.

 

테스트 내용

먼저 Test Topology는 아래와 같다.

( 단순 test를 위한 구성이기 때문에 Best Practice가 아닙니다. ) 

<< Test Topology >>

 

ESG의 fault tolerance 정책은 아래 2가지가 있다.

 

- HA 

Active-Standby 방식이기 때문에 트래픽 부하 분산이 불가능하다.

Failover 소요 시간은 약 20 Sec로 ECMP에 비해 긴 값을 가지며 stateful service 설정이 가능하다.

 

- ECMP

Asymmetric routing 방식이기 때문에 트래픽 부하 분산이 가능하며 실시간 Failover가 가능하다.

하지만 FW, NAT, LB와 같은 stateful service를 지원하지 않으며 ECMP member로 ESG 8대까지 가능하다.

<< Asymmetric rouing >>

ECMP 설정 시 고려해야 할 옵션들에 대해 알아보도록 한다.

 

- Graceful Restart 

해당 옵션은 Router의 Control plane fault 상황 발생 시 실제 패킷이 흐르는 Data plane을 통해

지속적으로 패킷을 전달함과 동시에 인접 router들의 neighbor update를 억제 시킴으로서 인접성을 유지한다.

해당 기능을 enable 시 아래 BGP time 값을 줄이더라도 Failover 진행이 지연 될 수 있기 때문에 disable이 필요하다.

 

- BGP Time

Design Guide 문서에도 나와 있지만 Keep/Hold timer값을 60/180 -> 1/3 로 변경해야 한다.

만약 time 값을 60/180 유지 시 Path 단절이 발생하더라도 Hold time까지 대기 후 Failover 하기 때문에 변경이 필요함.

한가지 의문인건 test 진행 동안 확인한 바로는 VM Poweroff를 통해 fault 상황을 발생시키면 bgp time 값과 상관 없이 바로 Failover 시켜 버린다. 하지만 vNic down 상황 시 time 값까지 대기 후 Failover 되는 부분을 확인했다.

 

- Firewall

ECMP의 member가 되는 ESG는 FW를 disable 하여야 한다.

만약 FW Default rule를 allow로 한다면 상관 없지 않을까? 라는 의문을 가질 수도 있지만 allow 정책이더라도 

기본은 stateful 한 성격이기 때문에 flow table이 생성되며 이로 인해 패킷 drop이 발생한다.

Server -> DLR -> ESG node A -> Client -> ESG node B > DLR -> Server 

위 패킷 흐름에서 ESG nod B의 입장에서는 flow table에는 없는 패킷을 수신하게 되며 drop시켜 버린다.

 

FW disable 시 ESG의 flow chain은 아래와 같이 설정 된 부분이 없다.

<< Disable FW >>

하지만 FW enable 시 아래와 같이 flow table 생기며 Asymmetric routing을 통해 table에 없는

패킷 수신 시 drop 시켜 버린다.

<< Enable FW >>

아래와 같이 invalid packet이 발생.

<< Enable FW invalid packet >>

- static route

만약 DLR Control VM fault가 발생한다면 DLR 하단의 VM network에 대한 routing 정보가 제거된다.

때문에 BGP의 Admin distance 값보다 높은 static routing을 설정하여 BGP 장애 시 static routing으로 유지하여야 한다.

 

<< Static routing >>

Static route의 distance 값은 21로 평상시에는 BGP routing을 통해 경로를 받는다.

<< BGP Routing >>

만약 DLR Control VM fault가 발생 한다면 아래와 같이 static routing을 통해 경로를 유지할 수 있다.

<< Static routing >>

 

추가적으로 유의할 점은 DLR에서 각 ESG에 대한 경로는 static routing이 아닌 BGP routing으로 받아야 한다.

아래와 같이 static으로 설정 시 트래픽 분산이 안될 수 있음.

0.0.0.0/0 192.168.10.1

0.0.0.0/0 192.168.10.2

0.0.0.0/0 192.168.10.3