하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

NVIDIA TensorRT-LLM 대규모 언어 모델을 크게 향상, 호퍼 GPU에서 최대 8배의 성능 향상.

블랙웰

5 2720 8 2023.09.09 02:10

<img src="https://img2.quasarzone.com/editor/2023/09/09/847e467adb8e0a78facd4d6f86b5540f.png" alt="퀘이사존"> 엔비디아는 오늘 GPU 전반에서 대규모 언어 모델 성능을 향상시키는 새로운 AI 소프트웨어 스택인 TensorRT LLM을 발표합니다.
 NVIDIA TensorRT-LLM, Hopper AI GPU에서 최대 8배의 대규모 언어 모델 성능 향상 제공
 엔비디아의 TensorRT-LLM은 고도로 최적화된 오픈 소스 라이브러리로, 호퍼와 같은 엔비디아의 AI GPU를 사용하는 모든 대규모 언어 모델에서 가장 빠른 추론 성능을 구현합니다. 엔비디아는 스무스퀀트, 플래시어텐션, fMHA와 같은 최첨단 기술이 적용된 최신 AI 커널을 활용하여 GPU를 최적화하기 위해 오픈소스 커뮤니티 내의 모든 LLM과 협력해 왔습니다. 오픈 소스 재단에는 GPT-3(175B), 라마 팔콤(180B), 블룸 등 바로 실행 가능한 SOTA 추론에 최적화된 버전의 LLM이 포함되어 있습니다. <img src="https://img2.quasarzone.com/editor/2023/09/09/f026dbcb3072c8fe1df7e7a3e55f2a31.png" alt="퀘이사존"> 또한 TensorRT-LLM은 인피니밴드 인터커넥트를 통해 여러 NVLINK 서버에 걸쳐 자동 병렬화를 수행하도록 최적화되어 있습니다. 이전에는 서버에 여러 서버/GPU에 걸쳐 대규모 언어 모델을 수동으로 할당해야 했지만, Tensor-RT LLM을 사용하면 더 이상 그럴 필요가 없습니다.
 TensorRT-LLM이 제공하는 가장 큰 업데이트 중 하나는 다른 작업과 독립적으로 GPU에 작업을 입력하고 종료할 수 있는 새로운 스케줄러인 인플라이트 배칭(In-Flight batching) 기능입니다. 이를 통해 동일한 GPU에서 대규모 컴퓨팅 집약적인 요청을 처리하는 동시에 여러 개의 작은 쿼리를 동적으로 처리할 수 있습니다. 이 전체 프로세스를 통해 GPU의 효율성이 향상되고 H100과 같은 GPU에서 처리량이 최대 2배까지 크게 향상됩니다. <img src="https://img2.quasarzone.com/editor/2023/09/09/b04c5201c9805651079f363c3b3ab326.png" alt="퀘이사존"> TensorRT-LLM 스택은 또한 Hopper의 Transformer 엔진과 해당 엔진의 FP8 연산 기능을 중심으로 최적화되었습니다. 이 라이브러리는 자동 FP8 변환, 커널 융합을 위한 DL 컴파일러, 혼합 정밀도 옵티마이저와 함께 정확도 손실 없이 8비트 양자화 성능을 구현하는 NVIDIA의 자체 Smoothquaint 알고리즘을 지원합니다. <img src="https://img2.quasarzone.com/editor/2023/09/09/7e5c5a17e10513d3d9326c6cd1c49bb6.png" alt="퀘이사존"> 성능 수치로 돌아가서, NVIDIA는 8월에 A100과 H100의 성능을 비교하고 H100의 성능과 TensorRT-LLM을 비교했습니다. GPT-J 6B(추론)에서 H100은 이미 4배의 이득을 제공했지만, TensorRT-LLM을 사용하면 성능이 두 배가 되어 이 특정 테스트에서 8배의 이득을 얻을 수 있습니다. Llama2에서는 TensorRT LLM을 사용하면 최대 5배의 이득을, TensorRT-LLM이 없는 표준 H100에 비해서는 거의 2배의 이득을 볼 수 있습니다. <img src="https://img2.quasarzone.com/editor/2023/09/09/ac9ee3517fe785aad7738c188110db14.png" alt="퀘이사존"> 엔비디아는 메타, 그래머리, 데시, 애니스케일 등 모든 주요 추론 워크로드와 협력하여 TensorRT-LLM을 사용하여 LLM을 가속화하고 있다고 밝혔습니다. 사용 가능 여부와 관련하여, TensorRT-LLM은 현재 얼리 액세스 버전으로 제공되며 다음 달 정식 출시될 예정입니다. 지원과 관련하여, TensorRT-LLM은 A100, H100, L4, L40, L40S, HGX, Grace Hopper 등 현재 생산 중인 모든 NVIDIA 데이터센터 및 AI GPU에서 지원될 예정입니다.

블랙웰

행성: 은하

포인트: 1,168,654 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 5개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(25.07.16)

퀘이사존

36.6k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
0	LGD, OLED 패널 제조 혁신 기대 기술인 FLiPP 개발 디스플레이 심심해❤️ 132 58분 전
1	쿨러마스터, 3000W V Platinum 파워 · GPU Shield 어댑터 공개 1 파워 QM달려 108 1시간 전
0	SK하이닉스는 자사의 유일한 전략인 기술적 우위로 CXMT의 황금기를 꺾고, LPDDR6 RAM으로 중국 고객을 사로잡을 계획입니다 3 CPU/MB/RAM 크로노 457 2시간 전
6	AMD, RX 9050 그래픽카드 출시: 4GB 또는 8GB VRAM 12 그래픽카드 QM포시포시 474 2시간 전
2	美 구글 검색, 10건 중 4건이 AI 답변…"단순 나열 시대 끝났다" 3 업계동향 빌보 309 3시간 전
3	YouTube Premium이 곧 Peacock과 함께 제공될 예정입니다 6 업계동향 크로노 887 6시간 전
12	NVIDIA가 올해 들어 세 번째로 그래픽 카드 가격을 최대 30%까지 인상하면서 유통업체들이 패닉 상태에 빠졌습니다 17 그래픽카드 크로노 1.5k 6시간 전
0	TCL, 1.1% 초저반사 OLED+ 모니터 'X3B 시리즈' 공개 2 디스플레이 QM두파 441 7시간 전
2	필립스, 425Hz Fast IPS와 눈 보호 기술을 결합한 Evnia 27M4P5501X 공개 3 디스플레이 QM두파 183 7시간 전
1	델, 280Hz QHD Fast IPS 게이밍 모니터 Alienware AW2726DL 공개 3 디스플레이 QM두파 211 7시간 전
0	필립스, 340Hz QHD 게이밍 모니터 Evnia 27M4P5500U 출시 1 디스플레이 QM두파 110 7시간 전
1	필립스, QHD 144Hz QD-OLED 게이밍 모니터 27M2N6500NS 출시 3 디스플레이 QM두파 135 7시간 전
2	Anthropic의 Claude AI 공유 채팅이 Google 검색에 나타나며 프라이버시 우려 제기 2 소프트웨어 QM깜냥 275 7시간 전
3	LG 대용량 배터리 e-ink 디스플레이 출시 5 디스플레이 QM쥬쥬 1k 9시간 전
14	LG, 궁극의 OLED 모니터 공개: 5K 해상도, 27인치 및 네이티브 RGB 매트릭스 18 디스플레이 심심해❤️ 1.4k 9시간 전
7	24시간 내내 데이터센터 소음으로 분노한 주민들이 소송을 제기했습니다 13 기타/주변기기 심심해❤️ 1.1k 9시간 전
3	MS가 KMS 인증 단속을 강화, 일반 사용자 단속은 아니야 5 소프트웨어 QM카재 597 9시간 전
1	사파이어, Ryzen AI Embedded X100 기반 EDGE+ Apex 로보틱스 플랫폼 공개 5 업계동향 QM달려 353 10시간 전
7	오그멘탈 마우스패드 출시: 당신의 혀를 PC 마우스로 만들어 줍니다 8 키보드/마우스 심심해❤️ 512 10시간 전
0	구글 차세대 TPU ‘Frozen V2’ 공개… SRAM 온칩 설계로 CoWoS 의존 줄인다 3 업계동향 QM달려 342 10시간 전
6	인텔 Core 2 Duo 탄생 20년… AMD 애슬론을 넘어 CPU 시장 주도권 탈환 11 CPU/MB/RAM QM달려 445 10시간 전
5	AI 메모리 수요 여파… CXMT DDR5 가격, 삼성 제품 추월 8 CPU/MB/RAM QM달려 568 10시간 전
13	엔비디아, 네이버 3대 주주 등극…AI팩토리 지분혈맹 13 업계동향 빌보 1.4k 20시간 전
17	기가바이트, B550 AORUS Elite WiFi7 소켓 AM4 메인보드 출시 33 CPU/MB/RAM 크로노 3k 07-27
16	AMD 라이젠 9 9950X3D, 역대 최저가인 569달러로 인하 20 CPU/MB/RAM 크로노 4.5k 07-27
15	WALLHACK M-001 게이밍 마우스 출시… 마그네슘 쉘·교체형 배터리 탑재 21 키보드/마우스 QM달려 791 07-27
15	‘한국 맹추격하는 중국 OLED’…中에 기술 넘긴 LG디스플 전 직원들, 징역형 32 업계동향 씨피유는그레이 3k 07-27
1	TrendForce "엔비디아와 브로드컴, CPO 스위치 양산 진입… 광학 엔진 수율과 첨단 패키징 용량이 주요 확장 병목으로 떠올라" 4 업계동향 QM깜냥 379 07-27
11	삼성은 HBM5에 2nm 공정을 사용할 예정: 목표 속도는 HBM4E보다 50% 더 빠르다 14 CPU/MB/RAM QM지름 2.6k 07-27
8	애플의 최고급 노트북, 맥북 울트라가 곧 출시: 최초로 OLED 터치스크린을 탑재 11 노트북 QM지름 1.1k 07-27