하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

알리바바 클라우드는 이더넷을 위해 엔비디아의 인터커넥트를 버렸습니다

블랙웰

2 1357 1 2024.06.30 07:59

<img src="https://img2.quasarzone.com/editor/2024/06/30/73a2cc995647272fdfb20cd56347d4e0.png" alt="퀘이사존"> 각각 8개의 GPU와 9개의 NICS를 갖춘 1,875개의 호스트가 Alibaba Cloud의 고성능 네트워크를 사용하여 이더넷을 통해 통신합니다.
 알리바바 클라우드의 엔지니어이자 연구원인 Ennan Zhai는 GitHub를 통해 연구 논문을 공유하여 LLM 교육에 사용되는 클라우드 제공업체의 데이터 센터 설계를 공개했습니다. PDF 문서 제목은 "Alibaba HPN: 대규모 언어 모델 학습을 위한 데이터 센터 네트워크"라는 제목의 이 문서에는 알리바바가 이더넷을 사용하여 15,000개의 GPU가 서로 통신할 수 있도록 한 방법이 간략하게 설명되어 있습니다.
 일반적인 클라우드 컴퓨팅은 10Gbps 미만의 속도로 일관되지만 작은 데이터 흐름을 생성합니다. 반면에 LLM 트레이닝은 최대 400Gbps에 달하는 주기적인 데이터 버스트를 생성합니다. 이 백서에 따르면 "LLM 트레이닝의 이러한 특성은 기존 데이터 센터에서 일반적으로 사용되는 로드 밸런싱 방식인 ECMP(동일 비용 다중 경로)가 해시 양극화를 일으켜 트래픽이 고르지 않게 분산되는 등의 문제를 일으킬 수 있습니다."
 이를 방지하기 위해 Zhai와 그의 팀은 "2계층 이중 플레인 아키텍처"를 사용하여 가능한 ECMP 발생 횟수를 줄이면서 시스템이 "코끼리 흐름을 수용할 수 있는 네트워크 경로를 정밀하게 선택할 수 있는" 고성능 네트워크(HPN)를 개발했습니다. 또한 HPN은 서로 백업할 수 있는 듀얼 ToR(Top-of-Rack) 스위치를 사용했습니다. 이러한 스위치는 LLM 트레이닝에서 가장 흔한 단일 지점 장애로, GPU가 동기화된 상태로 반복을 완료해야 합니다.
 호스트당 8개의 GPU, 데이터센터당 1,875개의 호스트
 알리바바 클라우드는 데이터 센터를 호스트로 나누고, 한 호스트에 8개의 GPU를 장착했습니다. 각 GPU에는 두 개의 포트가 있는 네트워크 인터페이스 카드(NIC)가 있으며, 각 GPU-NIC 시스템을 '레일'이라고 부릅니다. 호스트에는 백엔드 네트워크에 연결할 수 있는 추가 NIC도 있습니다. 각 레일은 두 개의 서로 다른 ToR 스위치에 연결되므로 하나의 스위치에 장애가 발생하더라도 전체 호스트에 영향을 미치지 않습니다.
 호스트 간 통신을 위해 NVlink를 사용하지 않더라도 호스트 내부의 GPU 간 통신에는 더 많은 대역폭이 필요하기 때문에 Alibaba Cloud는 여전히 호스트 내 네트워크에 Nvidia의 독점 기술을 사용합니다. 그러나 레일 간 통신이 훨씬 느리기 때문에 호스트당 "전용 400Gbps의 RDMA 네트워크 처리량(총 대역폭 3.2Tbps)"은 PCIe Gen5x16 그래픽 카드의 대역폭을 최대화하기에 충분합니다.
 또한, 멀티칩 솔루션은 단일 칩 스위치보다 장애 발생률이 4배나 높고 불안정하기 쉽기 때문에 Alibaba Cloud는 초당 51.2Tb/s의 이더넷 단일 칩 ToR 스위치를 사용합니다. 그러나 이러한 스위치는 발열이 심하고 시중에서 쉽게 구할 수 있는 방열판이 없어 과열로 인한 스위치의 작동 중단을 막을 수 없었습니다. 그래서 이 회사는 열 에너지를 훨씬 더 효율적으로 전달하기 위해 중앙에 기둥이 더 많은 증기 챔버 방열판을 만들어 새로운 솔루션을 개발했습니다.
 에난 자이와 그의 팀은 올해 8월 호주 시드니에서 열리는 SIGCOMM(데이터 통신에 관한 특별 관심 그룹) 컨퍼런스에서 이 연구 결과를 발표할 예정입니다. AMD, 인텔, 구글, 마이크로소프트 등 많은 기업이 이 프로젝트에 관심을 보이는 이유는 이들이 NV링크와 경쟁하기 위해 개방형 표준 상호 연결 세트인 울트라 액셀러레이터 링크를 만들기 위해 함께 뭉쳤기 때문입니다. 특히 알리바바 클라우드가 8개월 이상 HPN을 사용해 왔기 때문에 이 기술은 이미 검증을 거쳤습니다.
 그러나 HPN에는 여전히 몇 가지 단점이 있는데, 가장 큰 단점은 복잡한 배선 구조입니다. 각 호스트에 9개의 NIC가 있고 각 NIC가 두 개의 서로 다른 ToR 스위치에 연결되어 있기 때문에 어떤 잭이 어떤 포트에 연결되는지 혼동할 가능성이 많습니다. 그럼에도 불구하고 이 기술은 NV링크보다 저렴하기 때문에 데이터 센터를 구축하는 모든 기관이 설치 비용을 크게 절약할 수 있습니다(특히 중국과의 칩 전쟁에서 미국이 제재한 회사 중 하나라면 엔비디아 기술을 피할 수도 있습니다).

블랙웰

행성: 은하

포인트: 649,328 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 2개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

21k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
5	AMD, XDNA 초고해상도 기술로 구동되는 기능이 풍부한 AI 제품군 Amuse 2.0 공개 3 업계동향 QM달려 1.4k 07-29
3	NVIDIA 오픈소스 Linux 드라이버, 독점 드라이버와 동등한 성능과 뛰어난 GPU 최적화 제공 5 그래픽카드 QM달려 965 07-29
7	4K Blu-Ray는 스트리밍과의 전쟁을 포기하지 않습니다. 매출은 계속 성장하고 있습니다. 11 기타/주변기기 심심해❤️ 1.3k 07-29
2	HDR 톤 매핑이란 무엇이며 어떻게 작동하나요? 1 디스플레이 심심해❤️ 791 07-29
4	기바바이트, 라이젠 9000 지원 AGESA 1.2.0.0a 신규 BIOS 제공 발표 9 CPU/MB/RAM QM오즈 1.6k 07-29
14	AMD 9700X 및 9600X, 기본 및 PBO 구성 모두에서 테스트, 사이버펑크에서 2% 향상 20 CPU/MB/RAM Wormhole 9.4k 07-29
20	오타로 인해 AMD Ryzen 9000 CPU 출시 연기 가능성: Ryzen 5 9600X도 영향을 받음 23 CPU/MB/RAM Wormhole 7.4k 07-29
14	AMD Ryzen AI 300 “Strix” APU 기반 랩탑 출시: Zen 5 CPU, RDNA 3.5 GPU 및 XDNA 2 NPU 코어 결합, 첫 다이샷 사... 14 CPU/MB/RAM user_854318 3.5k 07-29
6	반도체·자동차 수출 호조 한국, 처음으로 일본 뛰어넘나 6 업계동향 블랙웰 1.1k 07-29
2	AI에 쏟아부은 수 십조원…회수하는 날 올까? 7 업계동향 블랙웰 2k 07-29
14	中, AI 반도체 굴기…HBM 자립 승부수 21 업계동향 빌보 2.2k 07-28
70	[단독] 티메프 모기업 큐텐, 중국에서도 미정산… 상해 사무실 4월에 뺐다 85 업계동향 빌보 11.2k 07-28
23	AI 모델 훈련 동안 실패 중 절반이 H100에서 발생...3시간에 한 번씩 실패 30 그래픽카드 QM포시포시 6.1k 07-28
20	인텔 코어 울트라 200K “애로우 레이크” CPU 클럭 공개: 울트라 9 285K 5.7GHz, 울트라 7 265K 5.5GHz, 울트라 5 245K 5.2GH... 47 CPU/MB/RAM user_854318 5.8k 07-28
12	네이버·카카오페이·페이코, 티메프 결제 취소·환불처리 나선다 15 업계동향 베놈 2.7k 07-28
44	AMD Ryzen 9 9900X 및 Ryzen 7 9700X CPU 시네벤치 점수 유출 72 CPU/MB/RAM Wormhole 8.9k 07-28
4	[종합] SK하이닉스, 반도체 슈퍼사이클 타고 HBM 고공비행 4 업계동향 블랙웰 1.4k 07-28
0	"구글 텃밭 차지할까"…오픈AI, 검색엔진 '서치GPT' 공개 소프트웨어 블랙웰 938 07-28
35	네이버는 28일 오전 10시부터 티몬·위메프 환불 처리 43 업계동향 빌보 6.5k 07-27
18	인텔 15세대 Core Ultra 7 265KF CPU 긱벤치 발견, 최대 5.5GHz 클럭 38 CPU/MB/RAM Wormhole 6.2k 07-27
6	AMD Zen 수석 설계자 마이크 클라크와의 동영상 인터뷰 6 CPU/MB/RAM user_854318 2.1k 07-27
19	'티몬·위메프' 집단 소송하면 돈 돌려받을까 38 업계동향 빌보 3.5k 07-27
29	VXE, MAD R 고성능 경량 마우스 출시: PAW3395/3950 센서, 36g 무게 46 키보드/마우스 QM포시포시 2.9k 07-27
61	인텔, 불안정성 문제로 인한 소비자 불만이 고조되는 가운데 14/13세 리콜 가능성 부인 85 CPU/MB/RAM Wormhole 8.9k 07-27
15	새로운 AMD 9600X 벤치마크 유출, ASUS는 9950X LN2 오버클럭으로 55000점 기록 14 CPU/MB/RAM Wormhole 5.9k 07-27
21	큐텐 물류자회사 큐익스프레스 "구영배, 최고경영자직 사임" 42 업계동향 Wormhole 6.4k 07-27
14	서멀 그리즐리, PhaseSheet PTM 서멀 패드 출시 16 쿨링솔루션 Wormhole 2.2k 07-27
25	게임 개발사에서 13세대 및 14세대 인텔 CPU에 대한 게임 내 충돌 경고 추가 25 CPU/MB/RAM Wormhole 4.8k 07-27
11	인텔 13세대 및 14세대 '랩터 레이크' 불안정성 문제: 알아야 할 모든 것 4 CPU/MB/RAM Wormhole 2.3k 07-27
2	Erying, 최대 24코어 Polestar HM770 "MoTD" 메인보드에 인텔 14세대 "HX" CPU 제공 3 CPU/MB/RAM Wormhole 3.9k 07-27