VMKernel NIC Multi-homing Test

• 테스트 목적

iSCSI port binding + NFS 환경에서 Multi-homing에 관한 내용 파악

https://kb.vmware.com/s/article/2010877

• 테스트 개요

VMKernel NIC Multi-homing 제약에 대해 이론으로만 알고 있는 경우가 많은데 직접 테스트를 통해 어떠한 제약이 있는지 

확인해보기로 했다.

동일한 서브넷에서 vmk1, vmk2, vmk3을 차례대로 생성 후 아래의 서비스로 사용한다. ( 192.168.102.x )

vmk1, vmk2 -> iSCSI Port binding

vmk3 -> NFS Traffic

Multi-homing 제약으로 인해 192.168.102.x 에 대한 Routing 설정은 제일 먼저 생성 된 vmk1만 사용할 것인데, 

이때 아래 2가지 테스트를 통해 Multi-homing 제약을 극복 할 수 있는지 테스트 해본다.

1) vmk1, vmk2 iSCSI Port binding 설정 후 NFS를 Mount 했을 시 vmk3를 사용하는가

2) vmk1, vmk2, vmk3 생성 후 vmk1, vmk2의  IP 대역을 임시로 변경하면 192.168.102.x 의 Routing Table은 vmk3로 설정된다.

    이때 vmk1, vmk2의 대역을 다시 192.168.102.x로 변경 후 iSCSI Port binding이 가능한가 

 

 

• 테스트 내용

아래와 같이 동일 서브넷 안에서 3개의 vmknic을 생성한다.

vmk1, vmk2 : iSCSI

vmk3 : NFS

<< 참고01. vmk 생성 >>

 

Multi-homing이 되지 않기 때문에 아래와 같이 Routing-table은 먼저 생성 된 vmk1만을 사용하게 된다.

<< 참고02. Routing-table 확인 >>

 

먼저 NFS Datastore Mount 후 실제로 vmk1이 NFS 트래픽을 체크하는지 확인한 결과 아래와 같이 vmk1을 사용하고 있다.

<< 참고03. NFS 트래피 vmk 확인 >>

 

다음 단계로 vmk1, vmk2를 iSCSI port binding 설정 후 NFS 트래픽에 다른 vmk를 사용하는지 확인 한다.

<< 참고04. iSCSI Port binding >>

 

예상처럼 NFS 트래픽에 대한 vmk는 변경되지 않는다.

<< 참고05. Port binding 후 확인 >>

 

Port binding 후 iSCSI LUN을 ESXi에 Masking 까지 한 후 한번 더 확인한다.

<< 참고06. LUN Masking >>

 

LUN Masking 후에도 결과는 동일하다.

<< 참고07. LUN Masking 후 확인 >>

 

마지막으로 iSCSI Target에서 vmk3 IP에 대해서만 Access 허용 후 결과를 확인한다.

<< 참고08. Access 설정 >>

 

vmk3 IP에 대해서만 Allow를 했음에도 결과는 동일하다.

<< 참고09. Access 설정 후 확인 >>

 

두 번째 테스트를 위해 vmk1, vmk2 IP 대역을 변경 후 Routing table 설정을 확인해본다.

<< 참고10. vmk1, vmk2 IP 대역 변경 >>

 

예상처럼 아래와 같이 기존 192.168.102.x 에 대한 Routing 설정은 vmk3로 변경 된다.

<< 참고11. vmk3로 변경 >>

 

이 상황에서 NFS를 Mount 후 vmk3 사용을 확인한다.

<< 참고12. vmk3를 통행 NFS mount >>

 

vmk1, vmk2를 iSCSI Port binding

<< 참고13. vmk1, vmk2 iSCSI Port binding >>

 

다음 Connection 확인 결과 놀랍게도 vmk1, vmk2를 통해 iSCSI Session이 생성 되었다.

뿐만 아니라 esxtop으로 vmk 트래픽 확인 결과 각각 분리되어 사용 NFS, iSCSI 서비스를 사용하는 부분을 확인했다.

<< 참고14. iSCSI-NFS Connection 분리 확인 >>

• 결론

Multi-homing 제약을 풀어보기 위해 Port binding, Access-list를 활용을 시도 해봤으나 절대적으로 하나의 vmk IP로만 트래픽을 

처리하는 사실을 확인 했지만 아래의 편법으로 트래픽 분리가 가능한 사실을 확인

vmk1, vmk2, vmk3 동일 서브넷 생성 -> Routing vmk1

vmk1, vmk2 서브넷 변 -> Routing vmk3

NFS Mount -> vmk3

vmk1, vmk2 서브넷 복구 -> Routing vmk3

vmk1, vmk2 iSCSI Port binding -> vmk1, vmk2

++ 추가 사항

Reboot 진행 시 원래 상태로 Routing 설정이 vmk1로 변경되며, NFS Datastore도 Error Log와 함께 Unmount 됨.