하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

NVIDIA 이더넷 네트워킹, xAI가 구축한 세계 최대 AI 슈퍼컴퓨터 가속화

QM바나

1 985 0 2024.10.29 18:57

<div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);">    NVIDIA는 오늘 테네시주 멤피스에 있는 100,000개의 NVIDIA Hopper GPU로 구성된 xAI의 Colossus 슈퍼컴퓨터 클러스터가 표준 기반 이더넷을 사용하여 다중 테넌트, 하이퍼스케일 AI 팩토리에 뛰어난 성능을 제공하도록 설계된 NVIDIA Spectrum-X 이더넷 네트워킹 플랫폼을 사용하여 이 엄청난 규모를 달성했다고 발표했습니다. 원격 직접 메모리 액세스(RDMA) 네트워크용입니다.

    세계 최대의 AI 슈퍼컴퓨터인 Colossus는 xAI의 대규모 언어 모델인 Grok 제품군을 훈련하는 데 사용되고 있으며, 채팅봇은 X Premium 구독자에게 기능으로 제공됩니다. xAI는 Colossus의 크기를 두 배로 늘려 총 200,000개의 NVIDIA Hopper GPU를 탑재하는 과정에 있습니다.</td></tr></tbody></table></div> <img src="https://img2.quasarzone.com/editor/2024/10/29/75daef3525e076f9259d377d167913e7.png" alt="퀘이사존" style="width: 75%;"> <div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);">    지원 시설과 최첨단 슈퍼컴퓨터는 xAI와 NVIDIA가 수개월에서 수년이 걸릴 수 있는 이 규모의 시스템에 대한 일반적인 기간 대신 단 122일 만에 구축했습니다. 첫 번째 랙이 바닥에 굴러온 후 훈련이 시작될 때까지 19일이 걸렸습니다.

    Colossus는 매우 큰 Grok 모델을 훈련하는 동안 전례 없는 네트워크 성능을 달성합니다. 네트워크 패브릭의 세 계층 모두에서 시스템은 흐름 충돌로 인한 애플리케이션 지연 저하나 패킷 손실이 전혀 발생하지 않았습니다. Spectrum-X 혼잡 제어로 활성화된 95%의 데이터 처리량을 유지했습니다.

    이 수준의 성능은 표준 이더넷으로는 대규모로 달성할 수 없으며, 표준 이더넷은 수천 개의 흐름 충돌을 발생시키는 반면 데이터 처리량은 60%에 불과합니다.

    NVIDIA의 네트워킹 담당 수석 부사장인 Gilad Shainer는 "AI는 미션 크리티컬해지고 있으며 성능, 보안, 확장성 및 비용 효율성이 향상되어야 합니다."라고 말했습니다. "NVIDIA Spectrum-X 이더넷 네트워킹 플랫폼은 xAI와 같은 혁신가에게 AI 워크로드의 더 빠른 처리, 분석 및 실행을 제공하고, 결과적으로 AI 솔루션의 개발, 배포 및 출시 시간을 단축하도록 설계되었습니다."

    Elon Musk는 X에 대해 "Colossus는 세계에서 가장 강력한 교육 시스템입니다."라고 말했습니다. "xAI 팀, NVIDIA 및 많은 파트너/공급업체의 훌륭한 작업입니다."

    xAI의 대변인은 "xAI는 세계에서 가장 크고 강력한 슈퍼컴퓨터를 구축했습니다."라고 말했습니다. "NVIDIA의 Hopper GPU와 Spectrum-X를 사용하면 대규모로 AI 모델을 교육하는 경계를 넓히고 이더넷 표준을 기반으로 하는 초고속 및 최적화된 AI 팩토리를 만들 수 있습니다."

    Spectrum-X 플랫폼의 핵심은 최대 800Gb/s의 포트 속도를 지원하고 Spectrum-4 스위치 ASIC을 기반으로 하는 Spectrum SN5600 이더넷 스위치입니다. xAI는 Spectrum-X SN5600 스위치를 NVIDIA BlueField-3 SuperNIC와 페어링하여 전례 없는 성능을 구현하기로 했습니다. AI용 Spectrum-X 이더넷 네트워킹은 이전에 InfiniBand에서만 제공되었던 낮은 지연 시간과 짧은 테일 지연 시간으로 매우 효과적이고 확장 가능한 대역폭을 제공하는 고급 기능을 제공합니다. 이러한 기능에는 NVIDIA Direct Data Placement 기술을 사용한 적응형 라우팅, 혼잡 제어, 향상된 AI 패브릭 가시성 및 성능 격리가 포함되며, 이는 모두 멀티 테넌트 생성형 AI 클라우드와 대규모 엔터프라이즈 환경에 대한 핵심 요구 사항입니다. ※ 퀘이사존 공식 기사가 아닌 해외 뉴스/기사를 번역한 것으로, 퀘이사존 견해와 주관은 포함되어 있지 않습니다.</td></tr></tbody></table></div>

QM바나

행성: QM

포인트: 149,759 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 1개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(25.07.16)

퀘이사존

36.5k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
19	3DCENTER의 9800X3D 출시 리뷰 총정리 22 CPU/MB/RAM 류오동 5.8k 11-11
1	라이젠 AI MAX 300 "스트릭스 헤일로" iGPU, 라데온 8000S 브랜딩 기능 제공 2 그래픽카드 user_로미 2.8k 11-11
40	200만원 이어폰, 까보니 부품이 10만원대 중국산과 같네 76 음향기기 빌보 10.4k 11-11
7	밸브의 스팀 플랫폼은 더 이상 윈도우 7을 지원하지 않음 10 소프트웨어 QM락형 2.1k 11-11
10	[루머] 삼성의 1세대 및 2세대 3nm GAA 공정의 초기 목표는 70%였지만, 그 목표의 3분의 1도 달성하지 못함 21 업계동향 Wormhole 4.5k 11-11
3	일론 머스크의 X, 법적 분쟁을 텍사스 북부로 이전 2 업계동향 QM바나 734 11-11
3	에이서, 니트로 VG0 시리즈를 포함한 게이밍 LCD 모니터 6종 출시 3 디스플레이 QM락형 652 11-11
0	미 의원들, 5대 반도체 장비 제조사에 대중국 수출 세부내역 공개 요구 3 업계동향 QM바나 863 11-11
7	인텔, TSMC 3nm에서 제조되는 Arrow Lake 주문을 더 많이 아웃소싱할 것으로 알려짐 6 CPU/MB/RAM 크로노 3.8k 11-11
1	TV 수요에 따른 편광판 시장 성장, 장기적 공급 과잉 우려에 직면 2 디스플레이 user_안나 532 11-11
11	기아, 수력 터빈 휠 기술을 탑재한 모험형 컨셉트 EV 공개 12 업계동향 크로노 2.1k 11-11
29	UserBenchmark는 Ryzen 7 9800X3D보다 i5-13600K를 구매할 것을 제안합니다. AMD는 '실제 성능'보다는 '공격적인 마케팅'으로 판매를... 41 CPU/MB/RAM 크로노 13.7k 11-11
7	세계 최초 'AMD Strix Point' 휴대용 게임기 ONEXFLY F1 PRO 가격은 1099~1899달러 14 기타/주변기기 user_로미 3.7k 11-11
0	포티넷, 윈도우 시스템을 감염시키는 Winos 4.0 발견 2 업계동향 user_헤이 1k 11-11
22	인텔, 직원들을 위한 무료 커피와 차를 다시 제공 예정 28 업계동향 user_헤이 4.1k 11-11
16	8BitDo가 새로운 레트로 108 기계식 키보드를 공개 25 키보드/마우스 QM건빵 3.5k 11-11
4	AMD의 데스크탑 CPU 출하량이 1년 만에 10%포인트 증가 6 CPU/MB/RAM QM건빵 1.9k 11-11
1	추락한 러시아 드론은 Xilinx, TI, Marvell, Micron 등 서방 기업의 최소 30개 칩을 사용 2 업계동향 QM달려 936 11-11
2	대만 정부 관계자, 대만 법률로 TSMC가 해외에서 2nm 칩 생산 불가 확인 9 업계동향 QM달려 1.4k 11-11
1	中, 전투 기능 갖춘 '늑대 로봇' 공개...무기도 탑재 4 기타/주변기기 빌보 859 11-11
0	삼성, LG의 2025년 첫 신형 OLED TV 실물 및 정보 유출: 삼성 83인치 QD-OLED TV 출시 3 디스플레이 심심해❤️ 2.1k 11-11
57	AMD Ryzen 9000 시리즈 CPU 역대 최저가로 하락 82 CPU/MB/RAM Wormhole 25.1k 11-10
5	TSMC, 연말도 '첨단 파운드리' 독주…월매출 최대치 경신 11 업계동향 블랙웰 1.1k 11-10
11	LG디스플레이, 화면 50% 늘어나는 '스트레처블 디스플레이' 최초 개발 16 디스플레이 블랙웰 2.6k 11-10
11	[루머] AMD 2025-2026년 모바일 CPU 및 GPU 라인업 유출 10 CPU/MB/RAM Wormhole 10.7k 11-10
11	Mark Rober의 번개처럼 빠른 로봇은 가위바위보에서 100% 승리할 수 있습니다 17 기타/주변기기 크로노 2.4k 11-10
66	중국 국적 SK하이닉스 전 직원, SK하이닉스 비밀 문서가 담긴 쇼핑백을 밀반출해 화웨이에 전달 84 업계동향 Wormhole 11.6k 11-09
10	구글, 에이전트 AI '자비스' 유출…컴퓨터 제어 기능으로 '주목' 13 소프트웨어 블랙웰 1.9k 11-09
8	삼성전자, 가전 구독 사업 출시 임박…LG와 맞장 19 업계동향 블랙웰 1.7k 11-09
6	TSMC, 다음주부터 中에 첨단 AI 칩 공급 중단 16 업계동향 빌보 2.6k 11-09