하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

NVIDIA 이더넷 네트워킹, xAI가 구축한 세계 최대 AI 슈퍼컴퓨터 가속화

QM바나

1 987 0 2024.10.29 18:57

<div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);">    NVIDIA는 오늘 테네시주 멤피스에 있는 100,000개의 NVIDIA Hopper GPU로 구성된 xAI의 Colossus 슈퍼컴퓨터 클러스터가 표준 기반 이더넷을 사용하여 다중 테넌트, 하이퍼스케일 AI 팩토리에 뛰어난 성능을 제공하도록 설계된 NVIDIA Spectrum-X 이더넷 네트워킹 플랫폼을 사용하여 이 엄청난 규모를 달성했다고 발표했습니다. 원격 직접 메모리 액세스(RDMA) 네트워크용입니다.

    세계 최대의 AI 슈퍼컴퓨터인 Colossus는 xAI의 대규모 언어 모델인 Grok 제품군을 훈련하는 데 사용되고 있으며, 채팅봇은 X Premium 구독자에게 기능으로 제공됩니다. xAI는 Colossus의 크기를 두 배로 늘려 총 200,000개의 NVIDIA Hopper GPU를 탑재하는 과정에 있습니다.</td></tr></tbody></table></div> <img src="https://img2.quasarzone.com/editor/2024/10/29/75daef3525e076f9259d377d167913e7.png" alt="퀘이사존" style="width: 75%;"> <div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);">    지원 시설과 최첨단 슈퍼컴퓨터는 xAI와 NVIDIA가 수개월에서 수년이 걸릴 수 있는 이 규모의 시스템에 대한 일반적인 기간 대신 단 122일 만에 구축했습니다. 첫 번째 랙이 바닥에 굴러온 후 훈련이 시작될 때까지 19일이 걸렸습니다.

    Colossus는 매우 큰 Grok 모델을 훈련하는 동안 전례 없는 네트워크 성능을 달성합니다. 네트워크 패브릭의 세 계층 모두에서 시스템은 흐름 충돌로 인한 애플리케이션 지연 저하나 패킷 손실이 전혀 발생하지 않았습니다. Spectrum-X 혼잡 제어로 활성화된 95%의 데이터 처리량을 유지했습니다.

    이 수준의 성능은 표준 이더넷으로는 대규모로 달성할 수 없으며, 표준 이더넷은 수천 개의 흐름 충돌을 발생시키는 반면 데이터 처리량은 60%에 불과합니다.

    NVIDIA의 네트워킹 담당 수석 부사장인 Gilad Shainer는 "AI는 미션 크리티컬해지고 있으며 성능, 보안, 확장성 및 비용 효율성이 향상되어야 합니다."라고 말했습니다. "NVIDIA Spectrum-X 이더넷 네트워킹 플랫폼은 xAI와 같은 혁신가에게 AI 워크로드의 더 빠른 처리, 분석 및 실행을 제공하고, 결과적으로 AI 솔루션의 개발, 배포 및 출시 시간을 단축하도록 설계되었습니다."

    Elon Musk는 X에 대해 "Colossus는 세계에서 가장 강력한 교육 시스템입니다."라고 말했습니다. "xAI 팀, NVIDIA 및 많은 파트너/공급업체의 훌륭한 작업입니다."

    xAI의 대변인은 "xAI는 세계에서 가장 크고 강력한 슈퍼컴퓨터를 구축했습니다."라고 말했습니다. "NVIDIA의 Hopper GPU와 Spectrum-X를 사용하면 대규모로 AI 모델을 교육하는 경계를 넓히고 이더넷 표준을 기반으로 하는 초고속 및 최적화된 AI 팩토리를 만들 수 있습니다."

    Spectrum-X 플랫폼의 핵심은 최대 800Gb/s의 포트 속도를 지원하고 Spectrum-4 스위치 ASIC을 기반으로 하는 Spectrum SN5600 이더넷 스위치입니다. xAI는 Spectrum-X SN5600 스위치를 NVIDIA BlueField-3 SuperNIC와 페어링하여 전례 없는 성능을 구현하기로 했습니다. AI용 Spectrum-X 이더넷 네트워킹은 이전에 InfiniBand에서만 제공되었던 낮은 지연 시간과 짧은 테일 지연 시간으로 매우 효과적이고 확장 가능한 대역폭을 제공하는 고급 기능을 제공합니다. 이러한 기능에는 NVIDIA Direct Data Placement 기술을 사용한 적응형 라우팅, 혼잡 제어, 향상된 AI 패브릭 가시성 및 성능 격리가 포함되며, 이는 모두 멀티 테넌트 생성형 AI 클라우드와 대규모 엔터프라이즈 환경에 대한 핵심 요구 사항입니다. ※ 퀘이사존 공식 기사가 아닌 해외 뉴스/기사를 번역한 것으로, 퀘이사존 견해와 주관은 포함되어 있지 않습니다.</td></tr></tbody></table></div>

QM바나

행성: QM

포인트: 150,347 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 1개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(25.07.16)

퀘이사존

36.5k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
22	삼성, 최대 500단 V11 NAND 개발… 물량 60%는 엔비디아 공급 전망 24 업계동향 QM달려 1.5k 12시간 전
10	“성과급이 왜 노조 돈인가”…삼성전자·SK하이닉스 대표, 배임 혐의로 고발당해 19 업계동향 빌보 2.3k 12시간 전
7	JBL, 18.5인치 화면에 노래 가사를 보여주는 스피커 Vienna 출시 9 음향기기 심심해❤️ 770 13시간 전
3	삼성, 저전력 메모리에도 PIM 솔루션 적용…세계 최초 3 업계동향 빌보 479 13시간 전
8	필립스 휴, 곧 카메라를 통한 TV 조명 동기화 기능 탑재 예정? 16 기타/주변기기 심심해❤️ 457 14시간 전
5	엔비디아 루빈 GPU 세부 스펙 공개: 3,360억 개 트랜지스터, 블랙웰 대비 에이전틱 AI 10배 향상 8 그래픽카드 QM코리 1.6k 15시간 전
4	기가바이트, 24.5인치 FHD 200Hz 게이밍 모니터 GS25F12 출시 8 디스플레이 QM두파 186 15시간 전
4	필립스 27E2N6900QW, 4K 펜타 탠덤 QD-OLED 디스플레이 탑재하고 중국 출시 6 디스플레이 QM두파 209 15시간 전
4	필립스 32M2N6901A, RGB Q-Stripe와 AI Ambiglow를 더한 4K 게이밍 모니터 출시 5 디스플레이 QM두파 227 15시간 전
9	에이서 프레데터 아틀라스 8 가격 공개, 이제 휴대용 PC 게이밍은 매우 비싼 취미가 됨 13 기타/주변기기 QM코리 507 15시간 전
3	화웨이, 프리클립 2S 트루 무선 이어폰 출시: 오픈형 디자인, IA 및 주얼리 케이스 5 음향기기 심심해❤️ 174 15시간 전
4	삼성D, 차세대 폼팩터부터 미래차∙AI∙게이밍 아우르는 OLED 혁신 선보인다 4 디스플레이 심심해❤️ 419 18시간 전
12	이 무료 앱은 Windows 11이 사용자의 PC에 몰래 설치하는 LG "악성 소프트웨어"를 차단합니다 12 소프트웨어 크로노 6.3k 18시간 전
7	따릉이 탔다 개인정보 털렸다…보상은 5천원 정기권 10 업계동향 크로노 911 18시간 전
4	통제에서 ‘탈출’한 인공지능, 외부 사이트 해킹…“초유의 사이버 사고” 7 업계동향 크로노 577 18시간 전
4	“OLED로 시장 차별화 가속화” LG디스플레이, K-디스플레이 2026 참가 6 디스플레이 심심해❤️ 725 19시간 전
5	엔비디아, Jetson 라인업 가격 최대 101% 인상 12 그래픽카드 그런말하지말아요 1.1k 19시간 전
11	아동의 소셜 미디어 금지를 추진 중인 국가들 17 업계동향 QM깜냥 576 20시간 전
4	NVIDIA에 대한 전면전 선포! AMD, Helios 랙급 AI 시스템 세부 사항 공개 및 Microsoft Azure 첫 도입 확보 9 CPU/MB/RAM QM깜냥 997 21시간 전
4	윈도우 11, 새로운 다크 테마 속성 창 테스트 진행중 5 소프트웨어 QM센스 849 21시간 전
0	엔비디아, 루빈 GPU 심층 분석 및 다이 주석 공개 3 그래픽카드 QM센스 927 22시간 전
11	PC 6대 중 1대는 아직 윈도우 10… 취약점 증가에 보안 경고 13 소프트웨어 QM달려 474 22시간 전
3	중국, AI 기술 수출 통제 검토… TSMC 활용 제한 가능성 제기 6 업계동향 QM달려 402 22시간 전
19	게인워드, 12GB GDDR6 탑재 RTX 3060 Python II OC 출시 25 그래픽카드 QM달려 1.1k 22시간 전
8	TSMC, 2027년 칩 생산 가격 최대 25% 인상 검토 17 업계동향 QM달려 624 22시간 전
5	엔비디아, 88코어·176스레드 'Vera' CPU … 최대 1.5TB LPDDR5X 지원 4 CPU/MB/RAM QM달려 1.8k 22시간 전
1	구글 제미니 신모델 발표… 정작 관심 모은 모델은 제외 4 업계동향 QM달려 610 22시간 전
1	엔비디아, Grace 단독 서버 수십만 대 출하… AI 데이터센터서 존재감 확대 3 업계동향 QM달려 389 22시간 전
17	에일리언웨어, 코어 울트라 9 탑재 신형 노트북 공개 22 노트북 QM유성 2k 07-21
9	실리콘모션, PCIe Gen7 개발 본격화 15 저장장치 QM유성 1.4k 07-21