이번 글은 HP MicroServer Gen8 사용하시는 분들이라면 겪을 수 있는 속도 저하의 문제를 확인하려고 합니다.
문제점
문제점
현재 저의 Gen8은 물리적으로 하나의 SSD와 2개의 HDD를 사용하고 있고, SSD에는 ESXi 위에 가상머신으로 헤놀로지와 CentOS가 설치되어 있으며, 헤놀로지에서 하드디스크를 원시매핑(RDM)하여 리소스를 사용하고 있습니다.
두 운영체제를 이용하는 도중에 몇가지 속도 저하를 겪게 되었는데, CentOS는 SSD만을 사용하기 때문에 속도 이슈가 두드러지진 않았고, 헤놀로지는 미디어 파일을 이용하는 중에 초반 데이터 전송시에는 기대했던 네트워크 망 속도 만큰 전송 속도의 절반정도를 뽑아 주었지만, 한 십여 초 뒤에는 초당 KB수준으로 전송속도가 떨어지고 CPU 부하도 거의 100%를 찍는 경우도 많았습니다.
원인 찾기
원인 찾기
성능저하를 일으키는 문제인 구간들을 찾기 위해 구간별로 이슈 가능성을 추려보면, 다음과 같습니다.
- SSD 성능 이슈
- HDD 성능 이슈
- Gen8 메인보드 및 RAID controller 이슈
- ESXi 5.5 설정 이슈
- ESXi 5.5 에 설치되는 HP Gen8 드라이버 이슈
- 헤놀로지 네트워크 드라이버 혹은 설정 이슈
- 공유기 및 네트워크 자체 이슈
네트워크 망부터 살펴보면, 공유기에 직접이은 저의 데스크탑에서는 전혀 속도 이슈는 없었습니다. 속도 및 성능 저하는 내부망, 외부망 상관없이 발생하였기 때문에 네트워크 문제는 아니었습니다.
헤놀로지의 네트워크 설정부분은 따로 문제없었고, 제가 설치한 헤놀로지 버전(6.0.1)에서 속도 저하 문제가 있다고 찾아 볼 수 없었습니다.
ESXi 내에서 네트워크 설정 부분에서도 망 전이중 사용도 확인했고 기가인터넷 인식도 확인하였고, 따로 설정할 부분을 보진 못 했습니다.
Gen8과 HDD, SSD 자체의 문제는 의심하고 싶진 않았는데, 계속 해결방법을 찾지 못하면 하나씩 뗴어내어서 성능을 테스트 해야할 상황이었습니다.
문제 원인
문제 원인
몇주간 구글링 끝에 ESXi를 이용해서 Gen8 서버를 돌리는 글들중 RAID를 구성하는고 운영하는 b120i smart array controller의 성능 문제를 꼬집는 게시글들을 보게되었고, 좀 더 확인해보니 ESXi에 설치된 B120i controller의 드라이버를 특정 버전으로 설치하면 성능이슈가 해결된다는 것을 확인 할 수 있었습니다.
| Hey ArnisR,
I finally found the problem. In the last ESXi 5.5 and the 6.0 release they have replaced the hpvsa driver (HP vSphere ISO !!). With these drivers, I have experienced major problems with the data stores and thus the B120i (RAID) controller of the HP MicroServer Gen8. The problem is caused by the last (HP) ISO’s (from march); – VMware ESXi 5.5.0-Update2-2403361-HP-550.9.2.27 Mar2015.iso I have found out (because I had an older ISO), the ISO VMware ESXi 5.5.0-Update2-2068190-HP-5.77.3-Nov2014.iso works well! With this ISO, all performance problems disappeared . The difference between the ISO’s is the following. The older ISO contains the storage driver scsi-hpvsa 5.5.0-88OEM. ISO(s) of March come with newer storage driver scsi-hpvsa 5.5.0-92OEM or scsi hpvsa-5.5.0-90. These drivers are the cause of the problems in the B120i controller! When installing ESXi 5.5 or 6 from the last ISOs, you must manually install the older storage driver (SCSI hpvsa-5.5.0-88). I’ve tested this with the vib file scsi HPSA-5.5.0-88OEM.550.0.0.1331820.x86_64.vib. I then adjusted the HP ISO and equipped with the older driver. Now I can install ESXi 5.5 or 6 from the (customized) HP ISO, which includes the older driver. I hope this helps! 출처 (https://communities.vmware.com/thread/505233) |
이 내용을 찾을 때까지도 특정 RAID 컨트롤러 드라이버가 문제를 일으킬거라고는 의심하지 않았는데, 마지막으로 해보자는 심정으로 시도를 해보게 되었습니다.
문제를 정리해보면, ESXi를 이용해서 운영체제 설치시 함께 설치된 B120i RAID controller 드라이버가 RAID의 읽기 쓰기 정책의 문제를 가지고 있는 듯하여 속도를 크게 저하시켜 CPU 로드를 올려버리는 문제가 생기는 듯 합니다.(저의 추측)
vSphere 5.5 용 B120i RAID Controller 드라이버 재설치
vSphere 5.5 용 B120i RAID Controller 드라이버 재설치
결과적으로 제 Gen8 ESXi 5.5에 설치된 B120i controller의 드라이버는 92버전이었고, 추천되는 버전은 88버전이어서 다운그레이드하여 설치하였습니다.
scsi-hpvsa-5.5.0-88 버전 HPE 제품지원 페이지 : http://h20566.www2.hpe.com/hpsc/swd/public/detail?swItemId=MTX_bfdbb1dfc5314e02bc01b1436b
드라이버 Vib 파일 다운로드 링크 : http://downloads.hpe.com/pub/softlib2/software1/pubsw-linux/p1268910445/v98768/scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib
ESXi 호스트에 SSH로 원격 접속하여 드라이버 재설치를 진행해야합니다. 드라이버를 다운그레이드를해야한다면 기존에 설치된 드라이버를 제거하고 위의 Vib 파일 주소로 이용해 파일을 다운받은 뒤 설치를 하시면 됩니다.
| How to install scsi-hpvsa-5.5.0-88 on ESXi 6 on HP microserver gen8 (if an other scsi-hpvsa-driver is installed)
|
해결
해결
88버전으로 설치 뒤, XPEnology의 성능은 가상화로 인한 내트워크 성능 저하를 제외하고는 기대한 수치만큼 회복한것을 확인할 수 있었습니다. CPU 로드도 처음 파일 전송시 잠깐동안만 치솟고 안정적으로 내려갔으며 네트워크 성능에는 지장을 주지 않았습니다.
마치며
마치며
ESXi 가상화를 통해 Gen8 서버를 운용하면서, 파일 읽기 쓰기 저하로 인해 CPU 로드가 풀로드로 유지되면서 네트워크 성능 이슈가 생긴다면 B120i controller 드라이버의 버전 교체를 권하고 싶습니다.
Leave a Reply