하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

RTX 4090은 노트북 CPU에 비해 최대 15배의 AI 처리량을 제공, TensorRT-LLM은 성능을 최대 70% 향상

QM지름

4 3109 0 2024.06.13 12:00

<img src="https://img2.quasarzone.com/editor/2024/06/13/ea3c0b91a903b728dfccbb8d43e3ae2e.jpg" alt="퀘이사존"> NVIDIA는 Llama 및 Mistral과 같은 AI 모델의 플래그십 RTX 4090을 포함하여 GeForce RTX 40 GPU에 대해 인상적인 수치를 선보였습니다. NVIDIA의 GeForce RTX 40 GPU는 새로운 Llama 및 Mistral AI 벤치마크에서 노트북 CPU 및 NPU를 분리하고 TensorRT-LLM을 통해 더욱 가속화되었습니다.NVIDIA의 Windows용 TensorRT-LLM 가속은 Windows PC 플랫폼에서 놀라운 성능 향상을 가져왔습니다. 우리는 NVIDIA의 RTX "AI PC" 기능 세트에 추가된 몇 가지 인상적인 이점과 새로운 기능을 확인했으며, 회사가 플래그십 제품인 GeForce RTX 4090 GPU로 엄청난 성능 수치를 선보이면서 상황이 더욱 좋아지고 있습니다. 새로운 AI-Decoded 블로그에서 NVIDIA는 기존 GPU 라인업이 2024년에 50TOPS에 도달한 전체 NPU 생태계를 어떻게 능가하는지 공유했습니다. 한편, NVIDIA의 RTX AI GPU는 여러 100TOPS를 특징으로 하며 최대 100개까지 올라갑니다. GeForce RTX 4090을 사용하는 1321 TOPS는 LLM 등을 실행하기 위한 가장 빠른 데스크톱 AI 솔루션입니다. 또한 지구상에서 가장 빠른 게이밍 그래픽 카드이기도 합니다. <img src="https://img2.quasarzone.com/editor/2024/06/13/fb6185b59b191a6cd1ae26148d879631.png" alt="퀘이사존">이미지 출처: 엔비디아 NVIDIA의 GeForce RTX GPU는 최대 24GB의 VRAM을 제공하고 NVIDIA RTX GPU는 최대 48GB의 VRAM을 제공하므로 LLM(Large Language Models)을 처리할 때 이러한 워크로드는 많은 양의 비디오 메모리를 필요로 하기 때문에 매우 괴물이 됩니다. NVIDIA의 RTX 하드웨어에는 전용 비디오 메모리뿐만 아니라 Tensor Cores(하드웨어) 및 앞서 언급한 TensorRT-LLM(소프트웨어)을 통한 AI 특정 가속도 함께 제공됩니다. NVIDIA GeForce RTX 4090 GPU의 모든 배치 크기에 걸쳐 생성된 토큰 수는 매우 빠르지만 TensorRT-LLM 가속을 활성화하면 4배 이상 크게 향상됩니다. <img src="https://img2.quasarzone.com/editor/2024/06/13/bc3200cc8afbce450e730f211ef9796f.png" alt="퀘이사존">이미지 출처: Jan.Ai NVIDIA는 최근 TensorRT-LLM을 로컬 챗봇 앱에 통합한 오픈 소스 Jan.ai 플랫폼을 사용하여 몇 가지 새로운 벤치마크를 공유하고 있습니다. 이 챗봇은 사용하기 쉬운 솔루션으로 Llama 또는 Mistral과 같은 AI 모델을 활용합니다. 소프트웨어 제공업체는 이제 전용 AI NPU가 장착된 노트북 CPU에 대해 NVIDIA의 GeForce RTX 40 GPU에서 실행되는 일부 벤치마크에 대한 살펴보기를 제공했습니다. NVIDIA GeForce RTX 4090 GPU는 TensorRT-LLM이 없는 AMD Ryzen 9 8945HS CPU에 비해 8.7배 향상된 성능을 제공하며 가속을 사용하면 15배까지 향상됩니다(TensorRT-LLM이 아닌 구성에 비해 70% 향상). AMD CPU에서는 1초에 최대 170.63개의 토큰을 처리할 수 있는데 비해 AMD CPU에서는 11.57개의 토큰을 처리할 수 있습니다. NVIDIA GeForce RTX 4070 노트북 GPU를 사용하더라도 최대 4.45배의 가속을 얻을 수 있습니다. 더욱 흥미롭게도 이 회사는 eGPU 구성에서 RTX 4090을 사용하여 수치를 공유하여 AI 워크로드용 외부 GPU를 사용하여 노트북 성능을 더욱 가속화할 수 있는 방법을 보여주었습니다. 이 구성은 동일한 AMD 노트북 CPU에 비해 성능이 9.07배 향상됩니다. NVIDIA는 최근 AI 컴퓨팅 성능의 현재 환경을 제시하고 GeForce RTX 40 데스크톱 CPU가 보급형 레벨에서 242 TOPS에서 하이엔드 레벨에서 최대 1321 TOPS까지 확장되는 방식을 보여줍니다. 이는 올해 SOC에서 볼 수 있는 최신 45-50 TOPS AI NPU에 비해 최저점에서는 4.84배, 최고점에서는 26.42배 증가한 수치입니다. <img src="https://img2.quasarzone.com/editor/2024/06/13/b250bcbd24f66a7a73683aa3f56155b6.png" alt="퀘이사존"> RTX 4050과 같은 노트북 NVIDIA GeForce RTX 40 옵션도 194 TOPS에서 시작합니다. 이는 가장 빠르게 출시되는 NPU보다 3.88배 증가한 반면, RTX 4090 노트북 칩은 686 TOPS로 13.72배의 속도 향상을 제공합니다. <div style="text-align: center;"><img src="https://img2.quasarzone.com/editor/2024/06/13/85c7f6a0d35c3c3ca6273711e9ea1ba8.jpg" alt="퀘이사존" style="background-color: initial;"></div><div style="text-align: center;"> </div><div style="text-align: center;"><img src="https://img2.quasarzone.com/editor/2024/06/13/7617c084c6b6db924dc3cc7547f67b28.jpg" alt="퀘이사존" style="background-color: initial;"></div> NVIDIA는 경쟁사에 비해 AI 부문에서 얼마나 앞서 있는지 몇 번이고 보여줬으며, 이러한 벤치마크는 AI를 사용하는 경우 NVIDIA가 귀하에게 적합한 하드웨어를 갖추고 있다는 점을 다시 한 번 확고히 했습니다. 하드웨어에 미치고 유저들을 사랑하는 남자, 퀘이사존 최고운영자 지름입니다.본 뉴스는 해외 매체의 단순 번역본으로 퀘이사존의 주관적인 견해가 포함되지 않았음을 밝혀드립니다.여러분들이 남겨 주신 소중한 댓글.. 진심으로 감사드립니다. 원문 출처 <a href="https://wccftech.com/nvidia-geforce-rtx-4090-gpu-up-to-15x-ai-throughput-versus-laptop-cpus-tensorrt-llm-boosts-perf-up-to-70-percent/" target="_blank">wccftech</a>

QM지름

행성: QM

포인트: 420,030 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 4개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

21.2k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
24	트럼프, 대만이 미국에 국방비 지불해야 한다…'그들이 우리 칩 사업 약 100% 가져갔다' 43 업계동향 QM달려 4.1k 07-18
0	기가바이트, 자체 AI 훈련을 돕는 AI 소프트웨어 출시 소프트웨어 QM달려 378 07-18
36	최신 PC 게임에서 DDR5 vs. DDR4 63 업계동향 QM달려 9.3k 07-18
5	세라믹 나노 메모리, 미국에 출시…데이터 저장 혁명 약속 4 업계동향 QM달려 709 07-18
2	필립스 Evnia 32M2N6800M 모니터 글로벌 출시: 1152개 로컬디밍, 엠비언트라이트를 갖춘 MiniLED 모니터 2 디스플레이 심심해❤️ 600 07-18
7	삼성, 엔비디아 HBM3E 적격 테스트 통과, 다음 분기부터 공급 시작 예정 8 업계동향 QM달려 5.5k 07-18
7	Ryzen 9 9950X 최대 230W까지 테스트, Cinebench에서 160W로 i9-14900KS와 동등 14 CPU/MB/RAM QM달려 3.4k 07-18
3	바이든-트럼프 '원투펀치' 반도체 '블랙 웬스데이' 3 업계동향 빌보 664 07-18
0	AMD Radeon 880M iGPU, 이전 세대 780M보다 15% 더 빠름 1 업계동향 QM달려 1.8k 07-18
2	Phanteks, Polar ST CPU 쿨러 출시 3 쿨링솔루션 QM오즈 822 07-18
18	마이크론, Crucial P310 2230 Gen4 NVMe SSD 공개 24 저장장치 Wormhole 3.2k 07-18
5	미국, 중국 반도체 산업에 대한 '강력한' 제재를 계획 중 6 업계동향 블랙웰 846 07-18
1	애플·엔비디아, AI 개발때 유튜브 자막 훔쳐…"17만 건 무단사용" 3 소프트웨어 블랙웰 888 07-18
1	'SK이노-SK E&S'·'SK온-SK TI-SK엔텀' 합병 2 업계동향 블랙웰 474 07-18
10	MSI, AM5 메인보드에 최신 AMD Ryzen 9000 오버클럭 및 메모리 기능 추가 8 CPU/MB/RAM Wormhole 4.8k 07-17
1	인텔, 루나 레이크 이후 노트북을 위한 세 가지 팬서 레이크 구성을 준비 중 CPU/MB/RAM 블랙웰 1.2k 07-17
21	Windows 11 24H2는 '올해 말'까지 x86 PC에 출시되지 않습니다 22 소프트웨어 블랙웰 7.3k 07-17
5	캐논 'EOS R1' 정식 발표…새 엔진&크로스 AF로 포착력 UP 9 기타/주변기기 QM코리 1k 07-17
6	캐논의 4,500만 화소기 'EOS R5 Mark II'가 등장…카메라 내 업스케일링으로 '약 1억 7,900만 화소' 6 기타/주변기기 QM코리 916 07-17
42	[루머] AMD, AM5 플랫폼용 100달러 미만의 애슬론/라이젠 3 CPU 준비 중 75 CPU/MB/RAM Wormhole 10.8k 07-17
2	메모리 현물 가격 업데이트: 삼성이 모멘텀을 지원하면서 DRAM 가격이 계속 상승 3 CPU/MB/RAM 신지™ 1.2k 07-17
6	[루머] 애로우 레이크, 랩터 레이크 대비 온도 TJMax 및 전력 정격 최대 105도로 향상 15 CPU/MB/RAM Wormhole 3.5k 07-17
3	ASML, 2024년 2분기 순매출 62억 유로, 순수익 16억 유로 보고 5 업계동향 신지™ 666 07-17
10	갈 길 먼 카카오 어쩌나…김범수 창업자 구속 기로 ‘흔들’ 11 업계동향 빌보 2.7k 07-17
7	한국 반도체 수출, 메모리 출하량 88.7% 증가로 사상 최대치 경신 10 업계동향 QM바나 938 07-17
7	Microsoft, 다양성, 형평성, 포용성(DEI) 팀 해고 11 업계동향 QM대세 2.8k 07-17
13	딥쿨 MATREXX 55 V4 C 시리즈: ARGB 팬이 장착된 미들타워 케이스 13 케이스 QM락형 1.1k 07-17
8	이제 “SCALE” 툴킷을 사용하여 AMD GPU에서 엔비디아 CUDA를 직접 실행할 수 있음 8 그래픽카드 QM락형 1.9k 07-17
14	MSI Intros PRO B650-A WIFI 마더보드 24 CPU/MB/RAM 신지™ 1.9k 07-17
1	필름메이커 모드란 무엇이며 어떤 TV 모델이 지원하나요? 4 디스플레이 심심해❤️ 900 07-17