성능 비교 분석의 정수! 퀘이사존 벤치마크

올해도 개성 있는 제품들이 쫙~

#TRYX

11.5K

139

이제 더 이상 만리지마! 난 만리가 좋다구

#MANLI

13.1K

132

에어플로우부터 데스크까지, LIAN LI가 그리는 생태계

#LIANLI

13.5K

엔지니어링과 디자인의 결합

#HAVN

11.8K

133

더 깔끔해진 트던, 유광과 무광까지

#GSKILL

11.5K

홀로그램으로 다시 수랭 시장을 선도한다!

#TRYX

13K

118

슈플하면 리덱스, 변화는 계속된다!

#SuperFlower

12.4K

우유? 야시장? 독특한 커스텀 PC와 새로운 메모리의 등장

#Patriot

12K

사무실 같은 편안함. 대여품

#컴퓨텍스

6.3K

PC부터 AI 인프라까지! FSP가 선보인 파워 포트폴리오

#FSP

11.6K

204

인텔이 AI 어떻게 쓸 수 있는 건지 알려주겠대

#INTEL

11.4K

164

더 탄탄해진 라인업, 클레브가 준비한 새로운 메모리

#KLEVV

12.2K

20돌 기념으로 화끈하게 준비했습니다

#ASUS

12.4K

더더 진화한 갈라도 30

#MANLI

15.5K

101

MSI 40주년, 그리고 AI 시대의 돌입

#MSI

11.9K

143

전시장 4개로 확장! 더욱 커진 행사 규모

#COMPUTEX

13.2K

게이밍부터 서버까지, 한 부스에서 완성되다

#MAXSUN

11.3K

134

수랭 쿨러가 OLED? 근데 움직인다고요?

#LIANLI

12.1K

그 신제품, RTX Spark 공개! DLSS 4.5 RR 등장!

#NVIDIA

17.7K

204

루비 인증? 엔터프라이즈? 시소닉, 차세대 라인업의 기준을 잡다

#Seasonic

11.1K

191

40주년을 맞이한 BIOSTAR, 앞으로 추구하는 방향은?

#BIOSTAR

11.3K

212

스토리지가 꿈꾸는 AI 세상

#Apacer

13.5K

인텔, AI를 위한 최고의 CPU

#INTEL

12.7K

295

어항은 끝없이 진화한다!

#darkFlash

12.3K

130

쿨링 전문가 공랭, 게이밍, AI 모두 접수!

#얼티메이크

11.3K

181

플래그십 메모리, 난 프라임이라고 해

#KLEVV

11.1K

LCD 3개가 선사하는 색다른 시스템 감성

#TCOMAS

12.9K

123

하필 지금 노트북 시장에 진출한 이유는?

#NVIDIA

12.7K

104

RTX Spark, DLSS 4.5 RR 기술 현장 체험!

#NVIDIA

6.4K

AI 없는 제품이 없다! 온몸으로 보여준 AI 시대

#ASUS

12.1K

벌써 10주년! 역시 케이스와 쿨러 맛집이야

#darkFlash

12.2K

151

내 열정을 뜨겁게 만드는 V8 쿨러. 그리고 차갑게 식혀주는 미친 케이스

#COOLERMASTER

FSP가 응답했다! 소비자 니즈 반영한 화이트 파워 4종

#FSP

11.4K

171

AI가 하드웨어를 바꾸는 컴퓨텍스 현장, 그 모든 것

#COMPUTEX

13.3K

이 집 취향 확실하네...

#MAXSUN

12.6K

121

AM4 10주년! RX 9070 GRE, R7 7700X3D 출시!

#AMD

17.6K

242

MSI는 모니터 열리는 나무를 키운다던데, 어디까지 좋은 모니터가 나올까

#MSI

11.4K

108

눈과 심장까지 오버클록!

#GSKILL

13.6K

다섯 가지 색상으로 즐길 준비 됐나요?

6.2K

AMD가 알려주는 실생활에서 AI 쓰는 예시

#AMD

13.4K

104

HYTE 감성, 더 넓은 세상으로

#HYTE

7.6K

마이크로닉스, WIZMAX로 세계 무대에 서다

#마이크로닉스

13.6K

컴덕의 심장을 울리는 쿨러마스터의 진심

#COOLERMASTER

6.3K

뭐? 메모리가 496 GB???

#LEADTEK

13.6K

여름 게이밍에는 엔비디아와 함께!

#NVIDIA

12.2K

40년 내공을 온전히, 기가바이트가 그리는 미래

#GIGABYTE

12K

135

AI 시대를 책임지는 RTX PRO 블랙웰 그래픽카드!

#LEADTEK

12K

20주년 기념 에디션, 여기 다 모였다!

#ASUS

17K

242

레이싱부터 케이스! 파워! 쿨러까지!

#Thermaltake

12K

197

케이스, 쇼케이스가 되다

#겜디아스

13.6K

한 부스 안에 담긴 두 개의 ADATA

#ADATA

13.2K

113

케이블 일단 꽂아놓고 한 번에 착!

11.8K

155

부스가 너무 편해서 순간 집에 돌아온 줄 알았네;;

#CORSAIR

7.4K

기술의 미래를 담다, 퀘이사존이 선택한 주인공들

#COMPUTEX

6.3K

INFINITY, 40년에서 시작되는 이야기

#GIGABYTE

12.7K

118

VC 2.0과 히트파이프 8개 그리고 LCD로 한 단계 더 진화!

#DEEPCOOL

12.1K

164

TCOMAS 참전, 수랭 쿨러 경쟁 재밌겠다~

#TCOMAS

12.5K

146

기대감 UP! 딥쿨의 신제품들

#DEEPCOOL

11.4K

192

과하지 않게, 그러나 확실하게

#ADATA

12.2K

103

국내 대표 유통사, 이번에도 핵심만 모았습니다

#서린씨앤아이

8.2K

인피니트 미러가 더해진 새로운 독사의 등장

#Patriot

11.7K

마초마초!! 밀리터리 감성 최대로!!!!

#CORSAIR

7.9K

더 큰 무대를 향해, ZADAK의 진화

#Apacer

11.6K

ZET7, 레이스가 시작된다

#zalman

12.2K

109

바야흐로 AI 시대, 컴덕을 흥분시킬만한 게 있을까?

#컴퓨텍스

6.8K

조용한 컴퓨팅에서 통합 생태계로

#zalman

12.7K

138

발열 잡고 갬성 채우고! 1stPlayer로 끝내는 솔루션

#1stPlayer

6.5K

112

성능? 이건 기본이지~ 디자인까지 간다!

#얼티메이크

11K

163

10주년, MONTECH이 제시하는 하이엔드 PC의 변화

#MONTECH

★ [딥러닝] 우분투/Caffe2 설정 가이드 + 트레이닝 테스트

QM벤치

0 28038 0 2018.02.15 20:59

<table class="__se_tbl" attr_no_border_tbl="1" style="text-align: justify;" cellspacing="0" cellpadding="1" border="0" align="center"><tbody><tr><td style="width: 800px; height: 5px;" class=""> <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518683573_6105.jpg" title="aaffa004254ef88a24e807d459863c92_1518683573_6105.jpg" style="max-width:100%; height:auto;"> NVIDIA GPU Cloud를 통한 딥러닝(Deep Learning) Docker를 이용한 Caffe2 트레이닝(Training)  먼저 딥러닝이 무엇인지 그 개념조차 생소하신 분들도 계실 텐데요. 관련 내용은 과거 퀘이사존에서 진행한 NVIDIA TITAN X (Pascal) 벤치마크의 별도 페이지에서 다룬 바 있습니다. 궁금하신 분은 아래 링크를 참고해주시기 바랍니다.   ※ 참고: 딥러닝(Deep Learning)이란?: <a href="https://goo.gl/pFYixt">https://goo.gl/pFYixt</a>  <div class="apms-autowrap"><div class="apms-autosize"><iframe src="https://www.youtube.com/embed/C2FS9WVm7j4" allow="autoplay; encrypted-media" allowfullscreen="" width="800" height="450" frameborder="0"></iframe></div></div> ▲ 엔비디아 공식 유튜브 채널에 등록된 딥러닝 소개 영상  본 페이지에서는 NVIDIA GPU Cloud Docker 컨테이너(Container)를 사용하여 우분투(Ubuntu) 16.04 LTS 운영체제에 Caffe2를 설치하고, 또 어떻게 딥러닝 벤치마크를 설정하는지를 일종의 가이드 형태로 설명해보도록 하겠습니다.  Caffe2Caffe2는 Facebook Research에서 개발한 오픈소스 딥러닝(Deep Learning) 프레임워크(framework)로 Convolutional Network와 Recurrent Network를 모두 지원합니다. ImageNet의 데이터세트로 트레이닝(Training)을 수행하며, 여기서는 ResNet-50을 예로 들어 설명하겠습니다.   테스트를 위해 엔비디아에서 가이드로 제시한 추천 시스템 요구 사양은 아래와 같습니다. <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518685345_1553.jpg" title="aaffa004254ef88a24e807d459863c92_1518685345_1553.jpg" style="max-width:100%; height:auto;"> CPU와 메모리 그리고 SSD 등의 요소에서 상당한 고사양을 요구함을 알 수 있는데요. 중요한 지점은 리눅스 커널 기반의 OS, 우분투 데스크톱(Ubuntu Desktop) 16.04 LTS 버전을 요구한다는 것입니다. 또한, SSD의 경우 1 테라(TB) 급의 용량이 요구되는데요. 이것은 트레이닝을 위해 ImageNet에서 다운로드해야 하는 이미지가 방대한 용량을 자랑하는 까닭입니다. <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518685897_9763.jpg" title="aaffa004254ef88a24e807d459863c92_1518685897_9763.jpg" style="max-width:100%; height:auto;"> 우분투의 다운로드 및 설치는 아래 링크를 참고해주시기 바랍니다. ※ 우분투 설치 튜토리얼: <a href="https://goo.gl/mgYbk6">https://goo.gl/mgYbk6</a>  NVIDIA 드라이버 설치우분투를 설치하고 가장 먼저 해야 할 작업은 바로 NVIDIA 드라이버를 설치하는 것입니다. Ctrl+Alt+F1 키로 콘솔을 열어 아래와 같은 순서로 명령어를 입력해줍시다. sudo service lightdm stopsudo apt purge nvidia-*sudo add-apt-repository ppa:graphics-drivers/ppasudo apt updatesudo apt install nvidia-xxxsudo service lightdm start 현시점에서 최신 버전은 387 버전으로 위 명령어의 nvidia-xxx를 nvidia-387로 입력하시면 됩니다. 여기까지 드라이버 설치 과정이었고요. 이상이 없으면, Ctrl+Alt+F7을 눌러 다시 데스크톱 환경으로 돌아오도록 합시다.  Docker 설치Docker는 리눅스용 오픈소스 컨테이너 플랫폼입니다. Docker 컨테이너는 리눅스 응용 프로그램을 모든 라이브러리, 데이터 파일과 환경 설정을 패키지로 묶어 동일한 실행 환경이 가능하도록 유지하는 메커니즘입니다. Ctrl+Alt+T 키로 터미널을 열어, 아래와 같이 명령어를 입력하면 Docker CE를 설치할 수 있습니다. sudo apt-get updatesudo apt-get install apt-transport-https ca-certificates curl software-properties-commoncurl -fsSL <a href="https://download.docker.com/linux/ubuntu/gpg">https://download.docker.com/linux/ubuntu/gpg</a> | sudo apt-key add -sudo apt-key fingerprint 0EBFCD88 sudo add-apt-repository "deb [arch=amd64] <a href="https://download.docker.com/linux/ubuntu">https://download.docker.com/linux/ubuntu</a> $(lsb_release -cs) stable"sudo apt-get updatesudo apt-get install docker-ce  NVIDIA Docker 2.0 설치다음 순서는 NVIDIA Docker를 설치하는 것입니다. 역시 터미널을 열어 아래와 같이 명령어를 입력해주도록 합시다. curl -s -L <a href="https://nvidia.github.io/nvidia-docker/gpgkey">https://nvidia.github.io/nvidia-docker/gpgkey</a> | sudo apt-key add - curl -s -L <a href="https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64/nvidiadocker.list">https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64/nvidia-docker.list</a> | sudo tee /etc/apt/sources.list.d/nvidia-docker.listsudo apt-get updatesudo apt-get install nvidia-docker2 sudo pkill -SIGHUP dockerd  NVIDIA GPU Cloud 가입NVIDIA GPU Cloud(이하 NGC)는 딥러닝에 최적화된 GPU 가속 클라우드(Cloud) 플랫폼입니다. NGC는 NVIDIA GPU를 최대한 활용할 수 있도록 딥러닝 프레임워크(framework) 컨테이너를 통합하여 최적화된 설루션을 제공해줍니다. <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518686779_9318.jpg" title="aaffa004254ef88a24e807d459863c92_1518686779_9318.jpg" style="max-width:100%; height:auto;"> 이러한 프레임워크 컨테이너는 CUDA 런타임, NVIDIA 라이브러리 및 운영체제와 같은 모든 필요한 요소를 포함하여 사용자 입장에서 간편하게 실행될 수 있도록 만들어졌는데요. NGC에 대한 추가 정보는 아래 링크에서 확인하실 수 있습니다.  ※ NVIDIA GPU CLOUD DEEP LEARNING FRAMEWORKS(PDF): <a href="https://goo.gl/NKopQY">https://goo.gl/NKopQY</a>  NGC에 가입하기 위해서는 <a href="https://ngc.nvidia.com" style="font-size: 18.6667px;">https://ngc.nvidia.com</a>로 이동하여 가입을 클릭하고 계정을 생성해야 합니다. 로그인 후 Get API Key 버튼을 클릭하여 키를 생성하시면 됩니다. 해당 키는 Docker에 로그인할 때마다 사용됩니다.  Docker 로그인그 후 아래 명령을 실행하여 Docker에 로그인하고 사용자명은 $oauthtoken을 입력하시면 됩니다. password는 앞서 언급한 생성된 API Key를 입력하시고요. sudo docker login nvcr.io Username: $oauthtokenPassword: 생성된 API Key 입력  Caffe2 컨테이너 실행최신 Caffe2 컨테이너를 가져오기 위해 아래 명령어를 입력해주세요.(xx.xx 변수는 컨테이너 버전으로 입력하시면 됩니다. 예 17.12)  sudo docker pull nvcr.io/nvidia/caffe2:xx.xx Caffe2 인터렉티브 인스턴스(Interactive Instance) 실행  sudo docker imagessudo nvidia-docker run –it nvcr.io/nvidia/caffe2:xx.xx 여기까지 입력하여 컨테이너의 작업 영역(workspace)을 탐색할 수 있으며, 탐색 후에는 exit를 입력하여 종료할 수 있습니다. 또한, 현재 Docker 컨테이너의 인스턴스 상태를 보려면 아래 명령을 입력합니다.(알파벳순 나열) sudo docker ps -a 실행 중인 컨테이너를 들어내려면 아래와 같이 docker rm 명령어를 사용하면 됩니다.(container_name에는 docker ps -a 명령어를 통해 출력되는 컨테이너 명 입력) sudo docker rm container_name  Caffe2 작동 테스트Caffe2는 workspace/nvidia_examples/imagenet/ 경로의 컨테이너에 Python nv_convnet_benchmarks.py 스크립트를 사용하여 테스트할 수 있습니다. 아래 예시로 명령어를 보여드릴 텐데요. 해당 명령어에 포함된 매개변수를 변경하여 다른 배치 사이즈나 신경망을 테스트할 수 있습니다.  sudo nvidia-docker run --rm nvcr.io/nvidia/caffe2:17.12 python nvidia-examples/imagenet/nv_convnet_benchmarks.py --batch_size 16 --model resnet_50 --cudnn_ws 6000 --iterations 50 --batch_size: 배치 사이즈를 조절합니다.--model: 명령어에 적용할 신경망(neural network) 모델을 선택할 수 있습니다.--cudnn_ws: cuDNN(NVIDIA CUDA Deep Neural Network)에 할당할 메모리 양을 조절합니다.--iterations: 신경망 시뮬레이션의 반복 횟수를 조절합니다.  이미지넷(ImageNet) 설정 <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518687290_6931.jpg" title="aaffa004254ef88a24e807d459863c92_1518687290_6931.jpg" style="max-width:100%; height:auto;"> ▲ 분류 작업의 예시 이미지, 출처: <a href="http://karpathy.github.io" style="font-size: 18.6667px;">http://karpathy.github.io</a>  이미지넷(ImageNet)은 2007년에 등장했으며, 인공지능 기술 발전을 논함에 있어 중대한 역학을 수행한 대규모 이미지 데이터베이스입니다. 데이터베이스를 이루고 있는 이미지들은 시각적 대상 인식 연구에 사용하기 위한 것으로 WordNet 계층 구조로 구성되어 있는 각 노드(node)가 수백 가지의 이미지 예제로 표현됩니다. 1400만 개 이상의 이미지를 가지고 있으며, 본 페이지에서도 이미지넷의 데이터베이스를 활용하여 벤치마크 테스트를 진행합니다.  이미지넷 데이터베이스 얻기 이미지넷은 <a href="http://image-net.org/download-images" style="font-size: 18.6667px;">http://image-net.org/download-images</a>에서 다운로드할 수 있습니다(참고로 계정 생생 시, 학교나 관계 기관의 이메일 계정으로 설정해야 승인이 잘 됩니다) <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518687631_5847.jpg" title="aaffa004254ef88a24e807d459863c92_1518687631_5847.jpg" style="max-width:100%; height:auto;"> 링크로 이동하면 하단에 'ILSVRC2012 이미지 데이터로 연결되는 링크를 클릭하여 다운로드가 가능합니다.(상단 이미지 참고) 파일 용량이 상당히 크기 때문에 긴 시간이 소요됩니다. 다운로드한 트레이닝 및 검증(Validation) 이미지는 아래 경로로 저장해주세요. ~/Downloads/imagenet12/train/~/Downloads/imagenet12/val_unsorted/ 아래 명령어를 사용하여 이미지넷 루트 경로에 추가 데이터를 받을 수 있습니다.  cd ~/Downloads/imagenet12/ wget <a href="http://dl.caffe.berkeleyvision.org/caffe_ilsvrc12.tar.gz">http://dl.caffe.berkeleyvision.org/caffe_ilsvrc12.tar.gz</a> tar -xvf caffe_ilsvrc12.tar.gz  이미지넷을 LMDB 형식으로 저장Caffe2 프레임워크에서 트레이닝을 수행하기 위해서는 이미지넷의 이미지를 LMDB 형식으로 저장해야 합니다. 또한, 이것을 Caffe2에 포함된 make_image_db로 작업 수행이 가능한데요. 해당 작업을 수행하기 위해서는 먼저 이미지넷 다운로드를 Caffe2 Docker 컨테이너에 탑재해야 합니다. ※ 주의: 이 단계의 작업은 저장매체에 큰 부하를 가하기 때문에, 적지 않은 시간이 소요됩니다. 또한 별도의 진행률을 보여주는 그래프가 나타나지 않으며, 작업이 이루어지는 동안 남은 저장매체 용량은 빠르게 줄어듭니다. 시스템 요구 사양에서 1TB의 SSD를 요구했던 까닭이 바로 여기에 있습니다. 아래는 train LMDB를 생성하는 명령어입니다.  sudo nvidia-docker run --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 -v ~/Downloads/imagenet12:/imagenet12 --rm -w /opt/caffe2/bin nvcr.io/nvidia/caffe2:17.12 make_image_db -shuffle -db lmdb -input_folder /imagenet12/train/ -list_file /imagenet12/train.txt -output_db_name /imagenet12/Train_LMDB 다음은 val LMDB를 생성하는 명령어입니다. sudo nvidia-docker run --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 -v ~/Downloads/imagenet12:/imagenet12 --rm -w /opt/caffe2/bin nvcr.io/nvidia/caffe2:17.12 make_image_db -shuffle -db lmdb -input_folder /imagenet12/val_unsorted/ -list_file /imagenet12/val.txt -output_db_name /imagenet12/Val_LMDB <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518688871_7853.jpg" title="aaffa004254ef88a24e807d459863c92_1518688871_7853.jpg" style="max-width:100%; height:auto;"> 명령어를 입력하여 작업을 수행하면, 위와 같이 LMDB가 생성되었음을 확인할 수 있습니다.  ResNet-50을 사용한 트레이닝Caffe2는 Docker 컨테이너의 /workspace/nvidia-examples/imagenet/ 경로에 포함된 train_resnet .py 스크립트로 ResNet-50 네트워크의 트레이닝을 수행할 수 있습니다. 예제 명령과 매개 변수는 아래 내용을 참고해주시기 바랍니다. 트레이닝 과정에서는 신경망을 통해 어떠한 물체(object), 동물 등 이미지의 특징을 학습하고, 또 어떤 특징이 중요한지를 결정하게 됩니다. 또한, 신경망은 주기적으로 트레이닝의 정확성에 영향을 주는 손실(loss)을 결정하기 위해 설정된 테스트(val)에 대해 자체적인 테스트를 수행합니다. 또한, 이것은 반복 수행을 통해 정확도를 높일 수 있습니다.(또는 epochs 수치를 높이는 방법도 있습니다) 아래는 train_resnet.py 스크립트에 사용되는 매개 변수에 대한 설명입니다  --depth: 망(Network) 계층(Layer)의 깊이를 조절합니다.(ResNet-50은 50을 사용)--train-lmdb: train LMDB 저장 경로를 입력합니다.--test-lmdb: val LMDB 저장 경로를 입력합니다.--num_gpus: 트레이닝에 사용될 GPU 수를 결정합니다. 또는 특정 GPU를 할당할 수도 있는데요. –gpus 매개변수를 쉼표(예: 0,1,2,3)로 구분하여 지정하는 것도 가능합니다.--batch-size: 한 번의 iteration에서 망 트레이닝을 진행하는데 사용할 이미지넷의 샘플 이미지 수를 결정합니다. 해당 매개변수의 숫자를 키우면 트레이닝 성능이 향상됩니다.--epochs: 전체 트레이닝 데이터세트를 통과하는 횟수입니다.--skip-test: 테스트 단계를 건너 뜁니다.--dtype float 16: FP16 정밀도(반정도)를 사용합니다.(Volta GPU)--enable-tensor-core: 텐서 코어를 활성화시킵니다.(Volta GPU)  트레이닝 명령어 예시TITAN V를 기준으로 ResNet-50 모델을 사용하여 배치 사이즈 64와 FP16 연산을 활용하는 명령어 예시입니다.(텐서 코어 활성화 명령어 포함) sudo nvidia-docker run --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 -v ~/Downloads/imagenet12:/imagenet12 --rm -w /workspace/nvidia-examples/imagenet nvcr.io/nvidia/caffe2:17.12 python ./train_resnet.py --depth 50 --train-lmdb /imagenet12/Train_LMDB \  --test-lmdb /imagenet12/Val_LMDB --num-gpus 1 --batch-size 64 --num-iterations 500 --skip-test --dtype float16 --enable-tensor-core <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518688294_8897.jpg" title="aaffa004254ef88a24e807d459863c92_1518688294_8897.jpg" style="max-width:100%; height:auto;"> 트레이닝 과정에서는 위와 같은 화면을 관측할 수 있습니다. 초당 이미지의 현재 시점,  반복, 트레이닝 속도, 손실 및 트레이닝 성능을 보여줍니다. <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518688304_4226.jpg" title="aaffa004254ef88a24e807d459863c92_1518688304_4226.jpg" style="max-width:100%; height:auto;"> 트레이닝이 진행되는 동안 터미널에서는 nvidia-smi 유틸리티를 실행하여 GPU 현황과 사용률을 확인하실 수 있습니다. 이제 해당 명령어를 사용하여 트레이닝 성능 테스트 결과를 살펴볼 차례인데요. 명령어에 포함된 d--type 매개변수(parameter)를 변경하여 FP32(float) 모드와 FP16(float16) 모드에서 TITAN 세대별 성능은 어떻게 달라지는지 확인해보았습니다.  ResNet-50 FP32 트레이닝 성능 벤치마크 <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518691405_6001.jpg" title="aaffa004254ef88a24e807d459863c92_1518691405_6001.jpg" style="max-width:100%; height:auto;"> TITAN V가 가장 높은 성능을 기록하긴 했지만, TITAN Xp와의 성능 차이가 그리 크지 않습니다. 배치 사이즈 48 기준으로 약 1.19배의 성능인데요. TITAN V의 가격을 생각한다면 상당히 실망스러우실 겁니다. 하지만 TITAN V의 진정한 성능은 텐서 코어를 활용한 FP16 연산에서 나온다는 사실을 잊지 말아야겠죠. 매개변수 FP16을 적용하여 트레이닝을 수행했을 때의 결과를 살펴보도록 합시다.  ResNet-50 FP16 트레이닝 성능 벤치마크 <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518691412_7444.jpg" title="aaffa004254ef88a24e807d459863c92_1518691412_7444.jpg" style="max-width:100%; height:auto;"> FP16 모드의 트레이닝 성능 테스트 결과입니다. TITAN V의 성능이 이제서야 제대로 발휘되네요. 딥러닝을 위한 전용 텐서 코어를 활성화했을 때의 성능은 가히 막강한 수준입니다. TITAN Xp와 비교 시, 최대 약 1.8배에 달하는 성능을 보여주기 때문이죠. <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518693143_2244.jpg" title="aaffa004254ef88a24e807d459863c92_1518693143_2244.jpg" style="max-width:100%; height:auto;"> 이와 같은 성능 특성은 딥러닝 알고리즘에 최적화된 텐서 코어 덕분입니다. 상단의 슬라이드 이미지를 참고하면, D[FP32] = A[FP16] x B[FP16] + C[FP32]로 이루어진 기본 연산 수칙에서 FP16 모드라 하더라도 실상은 Mixed 방식임을 알 수 있습니다. <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518696476_234.jpg" title="aaffa004254ef88a24e807d459863c92_1518696476_234.jpg" style="max-width:100%; height:auto;"> ▲ 참고: NVIDIA Tesla V100 16GB HBM2 결국 TITAN V는 딥러닝 트레이닝을 위한 최고의 그래픽카드임을 확인시켜 주었습니다. 그러나 TITAN V는 어디까지나 딥러닝을 공부하고자 하는 학생, 개인 연구가에게 적합한 설루션이고, 기업적 차원에서 대규모 병렬 시스템을 구축하고자 한다면 테슬라(Tesla) V100이 더 적합하다고 볼 수 있습니다. 무엇보다 TITAN V는 NVLink 활용이 불가능하고 테슬라 V100과 비교하여 메모리 용량(16 GB vs. 12 GB)과 대역폭(900.1 GB/s vs. 652.8 GB/s) 모두 열세를 보이고 있기 때문에 배치 사이즈가 더 커지면 트레이닝이 불가능한 경우도 생기겠죠. <img src="https://img2.quasarzone.co.kr/img/data/editor/1802/aaffa004254ef88a24e807d459863c92_1518692345_4553.jpg" title="aaffa004254ef88a24e807d459863c92_1518692345_4553.jpg" style="max-width:100%; height:auto;"> 자료를 좀 찾아봤는데 테슬라 V100의 경우 P100(파스칼 아키텍처)과 비교하여 더 높은 성능 차이를 보여준다고 합니다. 엔비디아 공식 자료이기 때문에 제가 직접 테스트하고 검증해본다면 더 할 나위 없이 좋겠지만 테슬라 V100을 구하기가 너무 어렵더군요. :)    </td></tr></tbody></table><div class="content_move">[이 게시물은 퀘이사존슈아님에 의해 2020-05-29 17:34:22 퀘이사 칼럼게시판에서 이동 됨]</div><div class="content_move">[이 게시물은 퀘이사존슈아님에 의해 2020-05-29 20:19:52 벤치마크게시판에서 이동 됨]</div>