하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

AI 스타트업 Etched, NVIDIA H100보다 20배 빠른 속도를 자랑하는 Transformer ASIC 공개

QM달려

3 625 2 2024.06.26 08:23

<div style="text-align: center; "><br></div><div style="text-align: center; "><br></div><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    차세대 생성 AI를 지원하기 위해 오늘 스텔스 모드에서 벗어나 새로운 스타트업이 등장했습니다. 에치드는 '트랜스포머'를 처리하는 주문형집적회로(ASIC)를 만드는 회사다. Transformer는 Google에서 개발한 딥 러닝 모델을 설계하기 위한 아키텍처이며 현재 ChatGPT의 OpenAI GPT-4o, Antrophic Claude, Google Gemini 및 Meta의 Llama 제품군과 같은 모델의 강력한 기반입니다. Etched는 변압기 모델만 처리하기 위한 ASIC을 만들고 Sohu라는 칩을 만들고 싶었습니다. Sohu는 NVIDIA의 최신 및 최고 제품보다 훨씬 뛰어난 성능을 발휘한다고 주장합니다. 8개의 NVIDIA H100 GPU 클러스터로 구성된 서버 구성이 Llama-3 70B 모델을 초당 25,000개의 토큰으로 푸시하고 최신 8개의 B200 "Blackwell" GPU 클러스터가 초당 43,000개의 토큰을 푸시하는 경우 8개의 Sohu 클러스터는 초당 500,000개의 토큰을 출력합니다.
</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">
</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    이것이 왜 중요합니까? ASIC은 Hopper보다 20배, Blackwell보다 10배 뛰어난 성능을 발휘할 뿐만 아니라 초당 너무 많은 토큰을 제공하여 실시간 출력이 필요한 완전히 새로운 AI 애플리케이션을 가능하게 합니다. Sohu 아키텍처는 매우 효율적이어서 FLOPS의 90%를 사용할 수 있는 반면, 기존 GPU는 30~40%의 FLOP 활용률을 자랑합니다. 이는 비효율성과 전력 낭비로 이어지며, Etched는 전력 변압기(GPT의 "T") 전용 가속기를 대규모로 구축하여 이를 해결하고자 합니다. 프론티어 모델 개발 비용이 10억 달러가 넘고 하드웨어 비용이 수백억 달러로 측정된다는 점을 감안할 때 특정 애플리케이션 구동 전용 가속기를 사용하면 AI를 더 빠르게 발전시키는 데 도움이 될 수 있습니다. AI 연구자들은 종종 "규모가 필요한 모든 것"이라고 말하며(전설적인 "관심이 필요한 모든 것" 논문과 유사) Etched는 이를 기반으로 구축하기를 원합니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p></td></tr></tbody></table></div><div style="text-align: center; "></div><div style="text-align: center; "><img src="https://img2.quasarzone.com/editor/2024/06/26/5a5dd047dd0209ad773a52c80e7071da.jpg" alt="퀘이사존"><span><br><br><img src="https://img2.quasarzone.com/editor/2024/06/26/4f4d5bb90ece22f32c236ce0fd26e542.jpg" alt="퀘이사존"></span><br></div><div style="text-align: center; "><span><br></span></div><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    그러나 앞으로는 몇 가지 의문점이 있습니다. 일반적으로 변압기는 AI 개발의 "미래"라고 여겨지지만 ASIC을 사용하면 작업이 변경될 때까지 문제가 해결됩니다. 예를 들어, 이는 작업 증명 스테이킹에서 ETH 코인을 파는 데 사용되는 이더리움 광부와 같이 이제 쓸모없는 모래 조각이 된 암호화 ASIC 광부의 몇 주기를 가져온 암호화폐 채굴 열풍을 연상시킵니다. 이제 ETH는 전환되었습니다. 지분증명 측면에서 ETH 채굴 ASIC은 가치가 없습니다.
</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">
</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    그럼에도 불구하고 Etched는 성공 공식이 간단하길 원합니다. 오픈 소스 소프트웨어 생태계를 사용하여 Sohu ASIC에서 변환기 기반 모델을 실행하고 이를 대규모로 확장하는 것입니다. 세부 사항은 부족하지만 ASIC은 144GB의 HBM3E 메모리에서 실행되고 칩은 TSMC의 4nm 프로세스로 제조된다는 것을 알고 있습니다. GPT-4의 1조 8천억 매개변수 설계보다 8배 더 큰 100조 매개변수로 AI 모델을 활성화합니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p></td></tr></tbody></table><p style="line-height: 2;"></p></div><div style="text-align: center; "><span><br></span></div><div style="text-align: center; "><i style="background-color: initial; color: rgb(255, 153, 0);">※ 퀘이사존 공식 기사가 아닌 해외 뉴스/기사를 번역한 것으로, 퀘이사존 견해와 주관은 포함되어 있지 않습니다.</i><br></div><div style="text-align: center;"><i style="background-color: initial; color: rgb(255, 153, 0);"><br></i></div><div style="text-align: center;">
</div>

QM달려

행성: QM

포인트: 415,213 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 3개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

20.9k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
5	엔비디아, 애플 AI 17만 3천 개의 유튜브 동영상, 테일러 스위프트의 가사 데이터로 활용 4 업계동향 QM건빵 1k 07-17
28	Epic Games, 인텔 14세대, 13세대와 관련된 포트나이트 '잦은 충돌'에 대한 가이드라인 발표 32 CPU/MB/RAM QM달려 3.4k 07-17
3	인텔 캐피털, 중국 AI 스타트업에 투자, 미 정부 주목 - 이 회사는 중국 기술 기업 43곳에 투자 4 업계동향 QM달려 433 07-17
11	커세어, 4방향 등받이로 허리를 편안하게 해주는 TC500 럭스 게이밍 의자 출시 13 기타/주변기기 심심해❤️ 1.4k 07-17
3	NVIDIA와 Meta의 CEO가 SIGGRAPH에서 AI와 그래픽의 미래에 대해 논의하다 4 그래픽카드 심심해❤️ 601 07-17
3	Phanteks, AMP GH 시리즈 파워 출시 4 파워 QM오즈 543 07-17
3	삼성전자, 업계 최고속도 LPDDR 동작검증…모바일D램 1등 굳힌다 3 CPU/MB/RAM 블랙웰 954 07-17
20	네이버 '웨일' 연내 해외로 뻗는다 26 소프트웨어 블랙웰 2.6k 07-17
22	GeForce 560.70 WHQL Game Ready 드라이버 출시 34 소프트웨어 Wormhole 8.2k 07-16
12	'실검 논란'에 화들짝…구글, '인기 급상승 검색어' 폐지 12 업계동향 빌보 4.4k 07-16
19	녹투아, 새로운 NH-D15 G2 쿨러에 영향을 미치는 덜거덕 거리는 소음에 대한 불만에 대응 22 저장장치 Wormhole 4.1k 07-16
19	[루머] 인텔 15세대 플래그십 Core Ultra 9 285K CPU, 최대 5.7GHz 부스트 클럭 지원 36 CPU/MB/RAM Wormhole 5.2k 07-16
31	AMD, 메인스트림 B850 및 엔트리 레벨 B840 칩셋 세부 정보 공개 63 CPU/MB/RAM Wormhole 6.7k 07-16
35	AMD, 차세대 Zen 6 및 Zen 6C 아키텍처 공식 확인 30 CPU/MB/RAM Wormhole 8.2k 07-16
4	최대 55개의 NPU TOP을 갖춘 AMD Ryzen AI 300 APU를 탑재한 HP의 옴니북 울트라: 가장 빠른 "AI PC" 5 노트북 QM락형 1.2k 07-16
11	삼성전자, SK하이닉스·TSMC와 경쟁 위해 4나노급 HBM4 양산할 듯 17 업계동향 QM바나 2.6k 07-16
9	Scythe, Wonder Tornado 120 ARGB 2500 RPM 팬 출시 10 쿨링솔루션 QM제크 756 07-16
1	BIOSTAR, 새로운 산업용 애플리케이션 시스템 출시 2 업계동향 QM제크 549 07-16
8	스카이로켓, 이야기를 만들어 읽어주는 AI 곰 '포' 8월 출시 13 기타/주변기기 QM브로리 565 07-16
5	메타, 2031년 퀘스트 VR에 대한 흥미로운 비전 제시 5 업계동향 QM브로리 1.6k 07-16
1	글로벌 수동부품 대기업, 대만 공급망에 이익이 되는 가격 20% 인상 4 업계동향 신지™ 469 07-16
4	삼성 HBM3e, 엔비디아 인증 획득설, 3분기 DDR5 가격 상승세 견인 7 CPU/MB/RAM 신지™ 2.3k 07-16
54	짐 켈러, 엔비디아가 끌어올린 AI 칩 가격을 낮추고자 한다 56 업계동향 QM포시포시 8.9k 07-16
7	프랑스 경쟁 당국, NVIDIA 조사 확인...성과 있으면 기소될 것 10 업계동향 QM포시포시 1.1k 07-16
2	R2R DAC를 탑재한 FiiO 최초의 데스크탑 헤드폰 앰프 K11 R2R 출시 5 음향기기 심심해❤️ 1.4k 07-16
2	삼성 타이젠 OS, 유럽 명품 LOEWE TV에 탑재 3 소프트웨어 빌보 811 07-16
1	Zidoo, 4개의 새로운 8k 미디어 플레이어 출시: 가격, 사양 및 상세정보 1 기타/주변기기 심심해❤️ 328 07-16
7	SFF 케이스 3D 프린팅 모델, 제작자 무료 배포 11 쿨링솔루션 QM브로리 1.6k 07-16
2	Omdia: 9인치 이상 OLED 출하량 2024년 124% 급증 2 업계동향 QM이라 285 07-16
3	삼성전자, 업계 최고 속도 LPDDR5X 동작 검증 완료 2 CPU/MB/RAM QM포시포시 1.1k 07-16