하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

AMD 인스팅트 MI300X AI, GEMM 튜닝을 통해 처리량 성능 및 지연 시간이 7배 향상

블랙웰

5 1048 3 2024.07.01 07:51

<img src="https://img2.quasarzone.com/editor/2024/07/01/35b40419211c4397188579fbb63968c1.png" alt="퀘이사존"> Nscale은 GEMM 튜닝 프레임워크를 활용하여 AMD의 플래그십 Instinct MI300X AI 가속기를 테스트한 결과 7배 빠른 성능을 달성했습니다.
 Nscale의 최신 AMD MI300X 벤치마킹 결과, GEMM 튜닝으로 상당한 성능 향상을 가져온 것으로 밝혀졌습니다.
 [보도 자료]: Nscale의 최신 기술 심층 분석에서는 AI 모델 최적화의 중요한 측면인 처리량 벤치마킹, 성능 튜닝 및 GEMM(일반 행렬 곱셈) 튜닝을 사용한 지연 시간 단축에 대해 살펴봅니다. GPU 가속 작업의 성능을 극대화하려면 단순히 원시 속도 이상의 것이 필요합니다. GEMM을 최적화하면 효율적인 처리, 높은 처리량, 복잡한 모델과 데이터 세트를 효과적으로 처리할 수 있습니다.
 이 블로그에서는 여러 모델에 걸친 vLLM 처리량 벤치마킹을 살펴보고 GEMM 튜닝의 중요한 영향에 대해 자세히 알아보겠습니다. 이 과정에서 rocBLAS(ROCm 기본 선형 대수 하위 프로그램) 및 hipBLASlt(이식성을 위한 이기종 컴퓨팅 인터페이스, 기본 선형 대수 하위 프로그램)와 같은 강력한 라이브러리가 유용하게 사용됩니다.
 이러한 라이브러리는 다양한 튜닝 파라미터와 함께 최적화된 GEMM 연산 구현을 제공하므로 개발자는 애플리케이션을 미세 조정하고 기본 하드웨어의 잠재력을 최대한 발휘하여 궁극적으로 vLLM 성능을 극대화할 수 있습니다.
 GEMM 튜닝이란?GEMM 튜닝은 행렬 곱셈 연산의 성능을 향상시키는 강력한 기술입니다. 이 프로세스에는 메모리, 캐시, 컴퓨팅 성능과 같은 요소를 기반으로 가장 적합한 알고리즘을 선택하는 것이 포함됩니다."
 매개변수를 미세 조정하고 최적의 알고리즘을 선택함으로써 GEMM 연산이 사용 가능한 컴퓨팅 리소스를 최대한 효율적으로 사용할 수 있도록 합니다. 이를 통해 AI 및 머신러닝 모델의 속도가 크게 향상됩니다.
 메트릭 비교
두 벤치마크 실행 간의 몇 가지 주요 성능 지표를 비교 분석했습니다.
<ul><li>생성 속도(초당 토큰 수): 입력 및 출력 프로세스 모두에서 토큰 생성의 효율성을 측정할 수 있었습니다.
</li><li>초당 요청 수: 여러 개의 동시 요청을 효과적으로 관리하는 시스템의 능력을 명확하게 보여줍니다.
</li><li>전체 처리량(초당 처리된 토큰 수): 생성 속도와 요청 처리의 효율성을 결합하여 다양한 구성에서 시스템 성능에 대한 종합적인 보기를 제공합니다.‍
</li><li>평균 지연 시간(초): 응답을 생성하는 데 걸리는 시간을 측정합니다.
</li></ul> 벤치마크 실행 설정
각 벤치마크 실행을 다음과 같은 설정으로 구성했습니다:
<ul><li>각 요청에 대한 입력 프롬프트 길이: 256토큰
</li><li>각 요청에 대한 출력 길이: 256토큰
</li><li>텐서 병렬 크기: 1(단일 GPU, 특히 MI300X 활용)‍
</li><li>배치 크기: 1, 2, 4</li></ul><iframe allowfullscreen="" frameborder="0" src="//www.youtube.com/embed/ME4wpBel1k4" width="640" height="360" class="note-video-clip"></iframe> 주요 관찰 사항:
라마, 미스트랄, 미스트랄, 팔콘과 같은 LLM의 GEMM 튜닝을 통해 달성한 주목할 만한 발전에 대해 자세히 알아봅시다. 이러한 모델의 성능과 효율성에 대한 튜닝된 GEMM의 영향을 설명하는 일련의 그래프와 데이터 시각화를 분석해 보겠습니다. <img src="https://img2.quasarzone.com/editor/2024/07/01/b41403fb2495e0e6d4b03242eef24069.png" alt="퀘이사존"> 그래프는 AMD Instinct MI300X AI 가속기에서 GeMM 튜닝을 활성화했을 때 생성 속도가 크게 증가했음을 보여줍니다.
 GEMM 튜닝 효과: GEMM 튜닝을 활성화하면 LLaMA-2-70B 모델에서 볼 수 있듯이 처리량이 최대 7.2배까지 증가합니다.
 모델 크기: LLaMA-2-70B 및 LLaMA-3-70B와 같은 대형 모델의 처리량이 각각 7.2배 및 5.9배 증가하여 가장 큰 폭의 개선을 보였습니다.
 배치 크기: 일반적으로 배치 크기가 클수록 처리량이 증가하며, 이는 GEMM 튜닝을 통해 증폭됩니다. 예를 들어, Falcon 7B 모델의 처리량은 배치 크기 1에서 초당 244.74 토큰에서 GEMM 튜닝 없이 배치 크기 4에서 초당 952.38 토큰으로 증가합니다. 튜닝을 하면 초당 2736.58 토큰으로 더 증가합니다.
 모델 간 비교: 테스트한 모델 중 LLaMA-2-70B와 LLaMA-3-70B는 복잡성과 크기로 인해 가장 높은 처리량을 보였습니다. 반대로 Qwen 1.5 4B 및 Falcon 7B와 같은 더 작은 모델은 상대적으로 높은 처리량을 보여 덜 복잡한 모델에서 더 효율적인 처리가 이루어지고 있음을 나타냅니다.
 지연 시간:
이 그래프는 GEMM 튜닝을 통해 달성한 일관된 지연 시간 감소를 보여줍니다. <img src="https://img2.quasarzone.com/editor/2024/07/01/e109ea78445144800f3014058c8a27d4.png" alt="퀘이사존"> GEMM 튜닝 효과: 모든 모델에서 지연 시간이 크게 감소합니다. 예를 들어, LLaMA-2-7B 모델의 지연 시간은 1.00초에서 0.35초로 감소했습니다. 테스트 중에 GEMM 튜닝을 활성화하면 배치 크기가 1인 LLaMA-2-7B 모델의 지연 시간이 1.97초에서 0.66초로 66.5% 감소하는 것을 관찰했습니다. 이 패턴은 배치 크기가 4까지 유지되어 GEMM 튜닝이 제공하는 상당한 성능 향상을 강조합니다.
 모델 크기: 모델이 클수록 본질적으로 지연 시간이 길어집니다. 예를 들어 LLaMA-2-70B 모델은 GEMM 튜닝을 하지 않은 경우 1.00초, 튜닝을 활성화한 경우 0.14초의 지연 시간을 보여줍니다. 이에 비해 LLaMA-2-7B와 같은 더 작은 모델은 비슷한 조건에서 훨씬 더 낮은 지연 시간을 보여줍니다. 이러한 경향은 배치 크기 전반에 걸쳐 일관되게 나타나며, 모델 크기가 처리 시간에 직접적인 영향을 미친다는 점을 강조합니다.
 배치 크기: 배치 크기가 클수록 일반적으로 지연 시간이 증가하지만, GEMM 튜닝은 이를 완화하여 지연 시간을 낮게 유지합니다. GEMM 튜닝을 사용하지 않은 LLaMA-2-7B 모델 테스트에서 지연 시간은 배치 크기 1에서 1.97초에서 배치 크기 4에서 2.11초로 증가했습니다. GEMM 튜닝을 활성화하면 0.66초에서 0.77초로 증가합니다. 이는 GEMM 튜닝이 지연 시간 증가를 어느 정도 완화하지만, 더 큰 배치를 처리하려면 당연히 더 많은 계산 노력과 시간이 필요하다는 것을 의미합니다.
 모델 간 비교: Qwen 1.5 4B 및 Falcon 7B와 같은 모델도 지연 시간이 단축되어 다양한 복잡성에서 GEMM 튜닝의 효과를 강조합니다.
결론:
 GEMM 튜닝이 적용된 AMD MI300X GPU에 대한 당사의 종합적인 벤치마킹 연구에 따르면 특정 모델에서 최대 7.2배의 이득과 함께 처리량과 지연 시간 모두에서 개선된 것으로 나타났습니다. 저희는 rocBLAS 및 hipBLASlt 라이브러리를 사용해 GEMM 작업을 최적화함으로써 LLaMA, Mistral, Mixtral 및 Falcon을 포함한 다양한 대형 언어 모델의 성능과 효율성을 크게 향상시켰습니다.
 뉴스 소스: <a href="https://www.nscale.com/blog/nscale-benchmarks-amd-mi300x-gpus-with-gemm-tuning-improves-throughput-and-latency-by-up-to-7-2x" target="_blank">Nscale</a>

블랙웰

행성: 은하

포인트: 652,302 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 5개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

21.1k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
5	ASUS, 1300달러에 ROG Swift OLED PG32UCDP 게이밍 모니터 출시 발표 9 디스플레이 Wormhole 2k 08-01
21	ASUS, 향기 디스펜서가 포함된 새로운 노트북 출시 27 노트북 Wormhole 3k 08-01
15	AMD의 Ryzen 9 5900XT, Ryzen 7 5800XT, 각각 $349 및 $249에 출시 27 CPU/MB/RAM 블랙웰 3.5k 08-01
7	삼성전자, 향상된 성능과 고용량으로 강화된 1TB microSD 카드 출시 10 저장장치 Wormhole 2.5k 08-01
6	엔비디아, 이번 주 블랙웰 엔지니어링 샘플 제공: 4분기 출시 예정 7 그래픽카드 Wormhole 3k 08-01
0	Ampere는 거대한 512코어 AmpereOne Auroa 프로세서 공개 — 맞춤형 AI 엔진, HBM 메모리 지원 CPU/MB/RAM Wormhole 941 08-01
2	미국 정부의 새로운 규정으로 ASML, 도쿄 일렉트론의 일부 장비 중국 수출 허용 3 업계동향 Wormhole 660 08-01
2	'AI 거품론' 엔비디아, 코인보다 출렁 7 업계동향 블랙웰 2.5k 08-01
3	삼성전기, AI·전장 MLCC로 날았다…하반기도 '쾌청' 3 업계동향 블랙웰 627 08-01
0	Particle, 최초의 5G 다목적 AI 지원 SBC인 Tachyon 공개 2 CPU/MB/RAM Wormhole 367 07-31
3	샤쿤, Rebel P20 및 Rebel P20 SFX PSU 출시 3 파워 Wormhole 356 07-31
5	Akasa, LGA1851 대응 로우 프로파일 CPU 쿨러 Alucia H6LS M2 발표 7 쿨링솔루션 Wormhole 537 07-31
2	최상위 스냅드래곤 X 엘리트 칩 탑재 퀄컴 스냅드래곤 개발 키트 899달러에 출시 2 기타/주변기기 Wormhole 1.1k 07-31
5	뉴에그, CPU 보상 판매 및 PC 보상 판매 프로그램 추가 9 CPU/MB/RAM Wormhole 904 07-31
2	130nm BCD 공정의 Weebit Nano 및 DB HiTek 테이프아웃 ReRAM 모듈 2 CPU/MB/RAM Wormhole 325 07-31
1	중국 회사, 45 TOPS NPU 및 12코어 CPU를 갖춘 고급 소비자 프로세서 출시 2 CPU/MB/RAM Wormhole 515 07-31
0	EMEET, SmartCam S800 및 NOVA 4K 출시 기타/주변기기 Wormhole 178 07-31
5	영국 과학자들이 광섬유를 통해 전례 없는 402Tbps 데이터 전송 달성 4 업계동향 Wormhole 626 07-31
0	제조사, 맞춤형 '라즈베리 파이 1000'에 라즈베리 파이 5를 집어넣다 기타/주변기기 Wormhole 414 07-31
0	미국은 18개의 중국 팹을 제재했으며 수십 개는 화이트 존에 남아 있음 1 업계동향 Wormhole 217 07-31
1	새로운 기술은 3D 프린팅을 사용하여 3차원 칩 회로 제작 4 기타/주변기기 Wormhole 368 07-31
1	AI 기반 수요 덕분에 2024년 DRAM과 NAND 매출은 각각 900억 달러와 670억 달러로 증가할 수 있음 2 업계동향 Wormhole 222 07-31
1	MIT 과학자들, 나노초 스위칭과 10억 사이클 내구성을 갖춘 트랜지스터 개발 3 업계동향 Wormhole 427 07-31
0	MSI, 환경을 생각하는 기업을 위한 EPEAT 등록 데스크탑 및 올인원 PC 공개 1 기타/주변기기 Wormhole 183 07-31
5	AMD, Ryzen 9 5900XT 349달러 & Ryzen 7 5800XT 249달러 공식 출시 5 CPU/MB/RAM Wormhole 725 07-31
52	라이젠 9000 시리즈 가격 확인: 279~599 달러 68 CPU/MB/RAM QM포시포시 5.7k 07-31
3	삼성전자 노사 '끝장교섭' 결렬…파업 장기화에 임금손실 눈덩이 3 업계동향 빌보 745 07-31
2	미국은 18개의 중국 팹을 제재했으나, 여전히 수십 개의 팹이 화이트존에 남아 있습니다 3 업계동향 블랙웰 427 07-31
0	3D 프린팅을 사용하여 3차원 칩 회로를 제작하는 새로운 기술 1 기타/주변기기 블랙웰 288 07-31
7	삼성 HBM3E 메모리, 2~4개월 내 엔비디아 AI GPU에 탑재 7 CPU/MB/RAM Wormhole 815 07-31