한 컴퓨팅 마니아가 매우 시끄럽고 사실상 구형이 된 엔터프라이즈 GPU를 로컬 LLM 추론 용도로 재활용했다. 이 GPU는 대용량 VRAM을 갖춘 제품으로, 사용자는 단돈 266달러(약 200파운드)를 투자해 전체 VRAM 용량을 32GB로 두 배 늘린 시스템을 구축했다. 특히 현재 RAMpocalypse(메모리 대란) 상황을 고려하면 상당히 좋은 결과라는 평가다.
Oscar Molnar는 이번 VRAM 확장 프로젝트를 위해 16GB HBM2 메모리를 탑재한 저렴한 Tesla V100 SXM2 모델을 구입했다. 여기에 SXM2 → PCIe 변환 어댑터와, 마치 잔디 깎는 기계처럼 시끄러운 쿨러를 개선하기 위한 PWM 개조 작업을 추가해 대형 로컬 LLM 구동 환경을 완성했다. 실제로 현재 이러한 GPU는 상당히 저렴하게 구할 수 있다.
미국 eBay에서는 중국 판매자로부터 구매하는 것을 감수한다면 개당 140달러 이하 가격으로 등록된 Tesla V100 SXM2 제품도 확인할 수 있다.
다만 앞서 언급했듯이, VRAM이 풍부한 Tesla V100 SXM2 카드를 그대로 구매해 일반 PC에 장착하는 것은 불가능하다. Molnar에 따르면, 해당 시스템을 구축하기 위해 eBay에서 약 66달러를 들여 SXM2 → PCIe 변환 어댑터를 별도로 구매했다. 이 어댑터를 통해 서버용 SXM2 GPU를 일반 PCIe 기반 시스템에서 사용할 수 있도록 변환한 것이다.
여기까지라면 충분하다고 생각할 수도 있다. 하지만 이 PC 및 로컬 LLM 마니아는 Tesla V100 SXM2에 기본 장착된 "지옥의 팬(the fan from hell)" 소음 때문에 결국 문제를 해결해야 했다.
기본 쿨러는 무려 82dB의 소음을 발생시키는 것으로 측정됐다. Molnar는 이 소리를 "쓰레기 처리기와 잔디 깎는 기계 사이 어딘가에 있는 소리"라고 표현했다. 가장 복잡한 개조 작업처럼 보일 수 있지만, 실제 과정은 비교적 단순했다. 기존 팬 케이블을 다시 배선한 뒤 메인보드의 PWM 팬 헤더에 연결하면 된다.
또는 작업을 위해 "2.54mm 수(Male) to PH2.0 암(Female) 점퍼 케이블"을 별도로 구매해 사용할 수도 있다. 놀랍게도 이 팬은 최대 부하 상태에서도 10% 속도만으로 Tesla V100의 온도를 50℃ 이하로 유지할 수 있는 것으로 알려졌다. 즉, 서버 환경에서는 강력한 냉각 성능을 위해 과도하게 높은 속도로 동작하도록 설정됐던 쿨러를, 일반 PC 환경에서는 훨씬 조용한 수준으로 낮춰 사용할 수 있다는 의미다.
|