하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

AMD, 인텔의 최신 Core Ultra 칩에 비해 Ryzen 8040 CPU에서 LLM이 최대 79% 더 빠르게 실행된다고 주장

asj118

6 4898 0 2024.04.06 22:55

해외기사이므로 오역이 있을 수 있습니다. AMD가 인텔보다 우위에 있습니다. AMD는 자사의 구형 Ryzen 모바일 7040 Phoenix 및 Ryzen 모바일 8040 시리즈 프로세서가 다양한 대형 언어 모델(LLM)에서 인텔의 Core Ultra Meteor Lake CPU보다 최대 79% 더 뛰어난 성능을 발휘한다고 보고했습니다. CPU 제조업체는 Ryzen 7 8740U와 비교한 인텔의 Core Ultra 7 155H CPU에 대한 수많은 벤치마크를 공개했습니다. 두 칩 모두 하드웨어 기반 신경 처리 장치(NPU)를 자랑합니다. AMD는 두 CPU를 사용한 미스트랄 7b, Llama v2 및 미스트랄 인스트럭트 7B의 성능 결과를 담은 여러 슬라이드를 준비했습니다. Q4 비트 크기를 사용하는 Llama v2 채팅에서, Ryzen 칩은 Core Ultra 7 155H보다 초당 14% 더 빠른 토큰을 달성했습니다. 미스트랄 인스트럭트에서 동일한 비트 크기에서 Ryzen 칩은 초당 17% 더 빠른 토큰을 달성했습니다. 동일한 LLM에서 샘플 프롬프트에 대한 첫 번째 토큰까지의 시간을 살펴보면, AMD의 경쟁 제품은 Llama v2에서 Core Ultra 7보다 79% 더 빨랐고, Mistral Instruct에서는 41% 더 빨랐습니다. AMD는 다양한 비트 크기, 블록 크기 및 품질 수준을 사용해 Llama 2 7B 채팅의 또 다른 차트를 보여주었습니다. 평균적으로 Ryzen 7 7840U는 Intel 제품보다 55% 더 빨랐으며, Q8 결과에서는 최대 70% 더 빨랐습니다. Q8이 가장 빠르긴 하지만, AMD는 실제 사용을 위해 LLM을 실행할 때는 4비트 K M 양자화를 권장하고 코딩과 같이 극도의 정확성이 요구되는 작업에는 5비트 K M을 설정할 것을 권장합니다. AMD가 현재 인텔과의 AI 성능 전쟁에서 승리하고 있다는 사실은 놀랍지 않습니다. Ryzen 7040 시리즈 아키텍처는 Meteor Lake와 동일한 수준의 성능(TOPS 기준)을 제공함에도 불구하고, 작년 말 AMD가 AI 기반 워크로드에서 종종 Meteor Lake보다 성능이 더 뛰어나다는 사실을 발견했습니다. 이는 하드웨어나 드라이버 문제라기보다는 LLM 최적화의 문제인 것으로 보입니다. 특히 인텔 제품에만 최적화된 인텔의 OpenVINO 프레임워크를 활용하지 않는 AI 워크로드에서 AMD가 우세한 것으로 나타났습니다. OpenVINO는 인텔 AI 성능을 크게 향상시키는 데 필수적인 것으로 보입니다. 예를 들어, 인텔의 A770은 OpenVINO 최적화를 통해 54%의 엄청난 성능 향상을 달성했습니다. 이 성능 동작이 오래 지속될 것으로 기대하지 마세요. 결국 NPU 개발은 이제 시작 단계에 불과합니다. 더 많은 앱이 OpenVINO를 채택하지 않는다면 인텔은 방향을 전환하여 더 많은 개발자가 채택할 수 있는 더 나은 최적화 경로를 시도할 것으로 예상합니다. 인텔은 또한 올해 말 차세대 루나 레이크 모바일 CPU 아키텍처를 출시할 준비를 하고 있으며, 이 아키텍처는 CPU 코어의 엄청난 IPC 개선과 더불어 Meteor Lake보다 3배 더 뛰어난 AI 성능을 제공할 것으로 알려졌습니다. 현재로서는 AMD의 슬라이드에 따르면, 특히 Ryzen 7 7840U보다 훨씬 더 뛰어난 NPU 성능을 갖춘 Ryzen 8040 시리즈 CPU를 통해 현재 NPU 성능에서 우위를 점하고 있음을 알 수 있습니다. 하지만 올해 말에는 인텔이 루나 레이크와 AI 최적화 계획에 얼마나 성공하느냐에 따라 판도가 바뀔 수 있습니다.

asj118

행성: 명왕성

포인트: 11,671 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 6개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(25.07.16)

퀘이사존

35.9k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
4	RTX 50 Super SKU가 Seasonic 와트 계산기에서 제거되었습니다 4 그래픽카드 류오동 371 2시간 전
3	삼성전자, AI PC용 칩 '가이아' 개발…내년 양산 목표 7 업계동향 빌보 264 3시간 전
6	개인정보위, 회원 130만명 정보 유출 락앤락에 과징금 5억원 10 업계동향 크로노 558 7시간 전
4	세계 4위 D램 中 CXMT, IPO 절차 돌입…6조5000억원 조달 7 업계동향 크로노 669 7시간 전
7	HWiNFO v8.50 업데이트 배포 8 소프트웨어 QM달려 532 7시간 전
4	서버 DRAM 계약 가격, 3분기에 13~18% 상승 예상 6 CPU/MB/RAM QM포시포시 475 7시간 전
4	AMD, 라이젠 100 신제품 4종 출시…실제는 '호크 포인트' 11 CPU/MB/RAM QM모브 1.4k 10시간 전
5	Omdia: 2026년 2분기 글로벌 PC 출하량 전년 대비 3.6% 감소, 애플은 역행하여 15.9% 급증 7 업계동향 QM깜냥 417 11시간 전
12	기업용 SSD 수요 급증, 공급 부족 심화...DDR4 계약 가격 급등설 18 CPU/MB/RAM QM포시포시 2k 14시간 전
26	삼성전자 제조라인 '4시간 무인 가동' 성공…24시간 완전자율공장 추진 50 업계동향 빌보 3.5k 14시간 전
1	LG, MRGB87 TV의 가짜 미니 RGB 백라이트에 대한 진실 6 디스플레이 심심해❤️ 1.2k 15시간 전
7	AMD 미니 PC, Steam Machine보다 뛰어난 SteamOS 성능 16 기타/주변기기 QM유성 1.6k 15시간 전
6	ViewSonic VX27G60Z-2K 공개… 240Hz QHD QD-OLED 탑재 9 디스플레이 QM두파 352 15시간 전
0	VESA, 차세대 OLED용 DisplayHDR True Black 1400 발표 4 디스플레이 QM유성 857 15시간 전
2	탠덤 WOLED 탑재, ASUS ROG Strix OLED XG27AQWMG-R 출시 5 디스플레이 QM두파 566 15시간 전
4	ASUS ROG Strix XG27JCEG 사양 공개, 5K 180Hz 게이밍 모니터 6 디스플레이 QM두파 471 15시간 전
25	델타, 파워 서플라이 최대 20% 가격 인상 전망 34 파워 QM포시포시 1.8k 15시간 전
4	인텔 노바 레이크-S 및 -H CPU, 12코어 Arc Xe3P 내장 그래픽 탑재 예정 4 CPU/MB/RAM 크로노 1.2k 16시간 전
6	“더 빠른 화면, 더 빠른 승리” LGD, 게이밍 OLED 모니터 성능 실험 논문 발표 9 디스플레이 심심해❤️ 950 16시간 전
1	애플, EU 디지털 시장법의 게이트키퍼 지정 취소 소송에서 패소 4 업계동향 QM카재 398 16시간 전
4	중국, 자체 엔비디아 규제 철회 검토… H200 20만 개 공급 가능성 6 업계동향 QM달려 1.3k 17시간 전
1	JEDEC, SPHBM4 표준 발표… AI 메모리 비용 낮춘다 3 업계동향 QM달려 2k 18시간 전
13	AMD 10코어 "메두사 포인트" Zen 6 APU, 성능 향상과 함께 긱벤치에 다시 등장 9 CPU/MB/RAM 크로노 5.8k 18시간 전
3	중국은 클로드 코드에 백도어가 포함되어 있다고 주장하며, 해당 메커니즘을 '심각한 위협'이라고 규정했습니다. 중국 정부는 클로드 코드가 동의 없이 민감한 정보를 ... 7 소프트웨어 크로노 1.2k 18시간 전
8	미국 이어 중국도 “첨단 AI 모델 해외 접근제한 방안검토” 17 업계동향 빌보 1.7k 07-08
32	패트리어트, 인피니티 미러 기술 적용한 DDR5 메모리 출시 36 CPU/MB/RAM QM카재 3.5k 07-08
21	딥시크, 우연히 실제 동작하는 랜섬웨어 제작 34 기타/주변기기 QM건빵 8.7k 07-08
17	애플, 삼성, SK하이닉스, 마이크론과의 협상력 확보를 앞두고 CXMT DRAM 테스트 착수 49 CPU/MB/RAM 크로노 7.5k 07-08
24	중국서 1년 간 1TB SSD는 132%, 32GB DDR5는 4배 폭등 32 CPU/MB/RAM QM포시포시 4.4k 07-08
2	Mac mini, AI 에이전트 시대 핵심 하드웨어 부상 4 기타/주변기기 QM유성 3.3k 07-08