하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

알리바바 클라우드는 이더넷을 위해 엔비디아의 인터커넥트를 버렸습니다

블랙웰

2 1338 1 2024.06.30 07:59

<img src="https://img2.quasarzone.com/editor/2024/06/30/73a2cc995647272fdfb20cd56347d4e0.png" alt="퀘이사존"> 각각 8개의 GPU와 9개의 NICS를 갖춘 1,875개의 호스트가 Alibaba Cloud의 고성능 네트워크를 사용하여 이더넷을 통해 통신합니다.
 알리바바 클라우드의 엔지니어이자 연구원인 Ennan Zhai는 GitHub를 통해 연구 논문을 공유하여 LLM 교육에 사용되는 클라우드 제공업체의 데이터 센터 설계를 공개했습니다. PDF 문서 제목은 "Alibaba HPN: 대규모 언어 모델 학습을 위한 데이터 센터 네트워크"라는 제목의 이 문서에는 알리바바가 이더넷을 사용하여 15,000개의 GPU가 서로 통신할 수 있도록 한 방법이 간략하게 설명되어 있습니다.
 일반적인 클라우드 컴퓨팅은 10Gbps 미만의 속도로 일관되지만 작은 데이터 흐름을 생성합니다. 반면에 LLM 트레이닝은 최대 400Gbps에 달하는 주기적인 데이터 버스트를 생성합니다. 이 백서에 따르면 "LLM 트레이닝의 이러한 특성은 기존 데이터 센터에서 일반적으로 사용되는 로드 밸런싱 방식인 ECMP(동일 비용 다중 경로)가 해시 양극화를 일으켜 트래픽이 고르지 않게 분산되는 등의 문제를 일으킬 수 있습니다."
 이를 방지하기 위해 Zhai와 그의 팀은 "2계층 이중 플레인 아키텍처"를 사용하여 가능한 ECMP 발생 횟수를 줄이면서 시스템이 "코끼리 흐름을 수용할 수 있는 네트워크 경로를 정밀하게 선택할 수 있는" 고성능 네트워크(HPN)를 개발했습니다. 또한 HPN은 서로 백업할 수 있는 듀얼 ToR(Top-of-Rack) 스위치를 사용했습니다. 이러한 스위치는 LLM 트레이닝에서 가장 흔한 단일 지점 장애로, GPU가 동기화된 상태로 반복을 완료해야 합니다.
 호스트당 8개의 GPU, 데이터센터당 1,875개의 호스트
 알리바바 클라우드는 데이터 센터를 호스트로 나누고, 한 호스트에 8개의 GPU를 장착했습니다. 각 GPU에는 두 개의 포트가 있는 네트워크 인터페이스 카드(NIC)가 있으며, 각 GPU-NIC 시스템을 '레일'이라고 부릅니다. 호스트에는 백엔드 네트워크에 연결할 수 있는 추가 NIC도 있습니다. 각 레일은 두 개의 서로 다른 ToR 스위치에 연결되므로 하나의 스위치에 장애가 발생하더라도 전체 호스트에 영향을 미치지 않습니다.
 호스트 간 통신을 위해 NVlink를 사용하지 않더라도 호스트 내부의 GPU 간 통신에는 더 많은 대역폭이 필요하기 때문에 Alibaba Cloud는 여전히 호스트 내 네트워크에 Nvidia의 독점 기술을 사용합니다. 그러나 레일 간 통신이 훨씬 느리기 때문에 호스트당 "전용 400Gbps의 RDMA 네트워크 처리량(총 대역폭 3.2Tbps)"은 PCIe Gen5x16 그래픽 카드의 대역폭을 최대화하기에 충분합니다.
 또한, 멀티칩 솔루션은 단일 칩 스위치보다 장애 발생률이 4배나 높고 불안정하기 쉽기 때문에 Alibaba Cloud는 초당 51.2Tb/s의 이더넷 단일 칩 ToR 스위치를 사용합니다. 그러나 이러한 스위치는 발열이 심하고 시중에서 쉽게 구할 수 있는 방열판이 없어 과열로 인한 스위치의 작동 중단을 막을 수 없었습니다. 그래서 이 회사는 열 에너지를 훨씬 더 효율적으로 전달하기 위해 중앙에 기둥이 더 많은 증기 챔버 방열판을 만들어 새로운 솔루션을 개발했습니다.
 에난 자이와 그의 팀은 올해 8월 호주 시드니에서 열리는 SIGCOMM(데이터 통신에 관한 특별 관심 그룹) 컨퍼런스에서 이 연구 결과를 발표할 예정입니다. AMD, 인텔, 구글, 마이크로소프트 등 많은 기업이 이 프로젝트에 관심을 보이는 이유는 이들이 NV링크와 경쟁하기 위해 개방형 표준 상호 연결 세트인 울트라 액셀러레이터 링크를 만들기 위해 함께 뭉쳤기 때문입니다. 특히 알리바바 클라우드가 8개월 이상 HPN을 사용해 왔기 때문에 이 기술은 이미 검증을 거쳤습니다.
 그러나 HPN에는 여전히 몇 가지 단점이 있는데, 가장 큰 단점은 복잡한 배선 구조입니다. 각 호스트에 9개의 NIC가 있고 각 NIC가 두 개의 서로 다른 ToR 스위치에 연결되어 있기 때문에 어떤 잭이 어떤 포트에 연결되는지 혼동할 가능성이 많습니다. 그럼에도 불구하고 이 기술은 NV링크보다 저렴하기 때문에 데이터 센터를 구축하는 모든 기관이 설치 비용을 크게 절약할 수 있습니다(특히 중국과의 칩 전쟁에서 미국이 제재한 회사 중 하나라면 엔비디아 기술을 피할 수도 있습니다).

블랙웰

행성: 은하

포인트: 641,757 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 2개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

20.9k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
2	HighPoint의 새로운 SSD 어댑터는 56GB/s에 달하며 2페타바이트의 데이터를 저장합니다 2 저장장치 블랙웰 457 07-24
6	ModelFarm, Unreal Engine Supervisor는 Intel CPU로 50% 고장률을 기록했다. 9 CPU/MB/RAM QM달려 849 07-24
1	Seagate Technology, 회계연도 4분기 및 2024 회계연도 재무 결과 보고 2 업계동향 QM달려 271 07-24
0	AMPACS, MEMS 스피커를 기반으로 한 업계 최초의 양방향 오버이어 헤드폰 디자인 발표 음향기기 QM달려 253 07-24
5	JLab, JBuds Lux ANC 무선 헤드폰 출시 5 음향기기 QM달려 269 07-24
0	Sharp, 새로운 M 시리즈 표준 레이저 프로젝터 출시 기타/주변기기 QM달려 238 07-24
1	Sharkoon, OfficePal 콤보 어댑터 공개 2 기타/주변기기 QM달려 253 07-24
0	Micron, 9550 NVMe 데이터센터 SSD 출시 1 저장장치 QM달려 547 07-24
0	D-Link, G530 5G NR AX3000 Wi-Fi 6 라우터 출시 네트워크 QM오즈 365 07-24
3	구글의 32조원 제안 거절…위즈 "IPO 할 것" 3 업계동향 빌보 1.9k 07-24
3	삼성전자 노사, 파업 2주 만에 임금 교섭…합의점 못 찾아 4 업계동향 빌보 851 07-24
4	[루머] 인텔 코어 울트라 9 285K 애로우 레이크 ES 샘플 CPU-Z 스크린샷 등장 14 CPU/MB/RAM Wormhole 2.8k 07-24
0	[넥스트 HBM]②메모리 한계 넘는 'PIM' CPU/MB/RAM 블랙웰 761 07-24
3	구글, AI 활용해 정확성 높인 날씨 시뮬레이터 개발 4 소프트웨어 블랙웰 405 07-24
2	AMD, EPYC 프로세서가 엔비디아의 Grace CPU 슈퍼칩보다 최대 2배 빠르다고 밝힘 4 CPU/MB/RAM 블랙웰 1.8k 07-23
4	러시아로의 첨단 프로세서 출하량이 20% 감소 5 업계동향 블랙웰 417 07-23
37	유튜버에 의해 유출된 AMD 9900X CPU 초기 게임 테스트, 7800X3D보다 약간 뒤처짐 94 CPU/MB/RAM Wormhole 17.3k 07-23
5	Adata Legend 970 Pro PCIe 5.0 SSD 출시 7 저장장치 Wormhole 760 07-23
8	루머)AMD의 가장 빠른 새로운 노트북 칩,싱글 코어 성능에서 애플 M3 맥스를 능가 17 CPU/MB/RAM 스퀴니 3.1k 07-23
51	유통사들 줄줄이 판매중단 '손절'…티몬·위메프 '초유의 사태' 85 업계동향 큰돌 15.1k 07-23
6	KAIST 신승원 교수 연구팀, 애플 새로운 M 시리즈 프로세스 프리패칭 취약점 공개 6 CPU/MB/RAM 큰돌 1.7k 07-23
10	[루머] 엔비디아, 플래그십 블랙웰 GPU 기반 차세대 타이탄 그래픽카드 개발 중 26 그래픽카드 Wormhole 4.5k 07-23
1	HCL 테크놀로지스, 주 3일 재택근무제 도입 업계동향 QM브로리 432 07-23
0	텐센트 클라우드, 중국 실리콘용 운영체제 CentOS 출시 2 기타/주변기기 QM브로리 535 07-23
25	인텔, 2025년 P코어 전용 "Bartlett" LGA1700 프로세서 출시 계획 76 CPU/MB/RAM user_854318 5.5k 07-23
3	Microsoft, CrowdStrike 재난에 대해 EU 협정을 비난하고 USB 복구 도구를 출시 5 업계동향 QM달려 1.2k 07-23
18	OneXPlayer, Core Ultra 9 185H로 구동되는 미니 PC 24 기타/주변기기 QM달려 1.8k 07-23
0	로지텍, 2025년 1분기 회계연도 결과 발표 3 업계동향 QM달려 878 07-23
4	인텔, 인텔 Arc GPU용 통합 생성 AI 및 채팅 앱인 AI Playground 출시 4 업계동향 QM달려 766 07-23
1	BIOSTAR, Home Edge AI PC 콤보 발표 2 업계동향 QM달려 480 07-23