하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

알리바바 클라우드는 이더넷을 위해 엔비디아의 인터커넥트를 버렸습니다

블랙웰

2 1316 1 2024.06.30 07:59

<img src="https://img2.quasarzone.com/editor/2024/06/30/73a2cc995647272fdfb20cd56347d4e0.png" alt="퀘이사존"> 각각 8개의 GPU와 9개의 NICS를 갖춘 1,875개의 호스트가 Alibaba Cloud의 고성능 네트워크를 사용하여 이더넷을 통해 통신합니다.
 알리바바 클라우드의 엔지니어이자 연구원인 Ennan Zhai는 GitHub를 통해 연구 논문을 공유하여 LLM 교육에 사용되는 클라우드 제공업체의 데이터 센터 설계를 공개했습니다. PDF 문서 제목은 "Alibaba HPN: 대규모 언어 모델 학습을 위한 데이터 센터 네트워크"라는 제목의 이 문서에는 알리바바가 이더넷을 사용하여 15,000개의 GPU가 서로 통신할 수 있도록 한 방법이 간략하게 설명되어 있습니다.
 일반적인 클라우드 컴퓨팅은 10Gbps 미만의 속도로 일관되지만 작은 데이터 흐름을 생성합니다. 반면에 LLM 트레이닝은 최대 400Gbps에 달하는 주기적인 데이터 버스트를 생성합니다. 이 백서에 따르면 "LLM 트레이닝의 이러한 특성은 기존 데이터 센터에서 일반적으로 사용되는 로드 밸런싱 방식인 ECMP(동일 비용 다중 경로)가 해시 양극화를 일으켜 트래픽이 고르지 않게 분산되는 등의 문제를 일으킬 수 있습니다."
 이를 방지하기 위해 Zhai와 그의 팀은 "2계층 이중 플레인 아키텍처"를 사용하여 가능한 ECMP 발생 횟수를 줄이면서 시스템이 "코끼리 흐름을 수용할 수 있는 네트워크 경로를 정밀하게 선택할 수 있는" 고성능 네트워크(HPN)를 개발했습니다. 또한 HPN은 서로 백업할 수 있는 듀얼 ToR(Top-of-Rack) 스위치를 사용했습니다. 이러한 스위치는 LLM 트레이닝에서 가장 흔한 단일 지점 장애로, GPU가 동기화된 상태로 반복을 완료해야 합니다.
 호스트당 8개의 GPU, 데이터센터당 1,875개의 호스트
 알리바바 클라우드는 데이터 센터를 호스트로 나누고, 한 호스트에 8개의 GPU를 장착했습니다. 각 GPU에는 두 개의 포트가 있는 네트워크 인터페이스 카드(NIC)가 있으며, 각 GPU-NIC 시스템을 '레일'이라고 부릅니다. 호스트에는 백엔드 네트워크에 연결할 수 있는 추가 NIC도 있습니다. 각 레일은 두 개의 서로 다른 ToR 스위치에 연결되므로 하나의 스위치에 장애가 발생하더라도 전체 호스트에 영향을 미치지 않습니다.
 호스트 간 통신을 위해 NVlink를 사용하지 않더라도 호스트 내부의 GPU 간 통신에는 더 많은 대역폭이 필요하기 때문에 Alibaba Cloud는 여전히 호스트 내 네트워크에 Nvidia의 독점 기술을 사용합니다. 그러나 레일 간 통신이 훨씬 느리기 때문에 호스트당 "전용 400Gbps의 RDMA 네트워크 처리량(총 대역폭 3.2Tbps)"은 PCIe Gen5x16 그래픽 카드의 대역폭을 최대화하기에 충분합니다.
 또한, 멀티칩 솔루션은 단일 칩 스위치보다 장애 발생률이 4배나 높고 불안정하기 쉽기 때문에 Alibaba Cloud는 초당 51.2Tb/s의 이더넷 단일 칩 ToR 스위치를 사용합니다. 그러나 이러한 스위치는 발열이 심하고 시중에서 쉽게 구할 수 있는 방열판이 없어 과열로 인한 스위치의 작동 중단을 막을 수 없었습니다. 그래서 이 회사는 열 에너지를 훨씬 더 효율적으로 전달하기 위해 중앙에 기둥이 더 많은 증기 챔버 방열판을 만들어 새로운 솔루션을 개발했습니다.
 에난 자이와 그의 팀은 올해 8월 호주 시드니에서 열리는 SIGCOMM(데이터 통신에 관한 특별 관심 그룹) 컨퍼런스에서 이 연구 결과를 발표할 예정입니다. AMD, 인텔, 구글, 마이크로소프트 등 많은 기업이 이 프로젝트에 관심을 보이는 이유는 이들이 NV링크와 경쟁하기 위해 개방형 표준 상호 연결 세트인 울트라 액셀러레이터 링크를 만들기 위해 함께 뭉쳤기 때문입니다. 특히 알리바바 클라우드가 8개월 이상 HPN을 사용해 왔기 때문에 이 기술은 이미 검증을 거쳤습니다.
 그러나 HPN에는 여전히 몇 가지 단점이 있는데, 가장 큰 단점은 복잡한 배선 구조입니다. 각 호스트에 9개의 NIC가 있고 각 NIC가 두 개의 서로 다른 ToR 스위치에 연결되어 있기 때문에 어떤 잭이 어떤 포트에 연결되는지 혼동할 가능성이 많습니다. 그럼에도 불구하고 이 기술은 NV링크보다 저렴하기 때문에 데이터 센터를 구축하는 모든 기관이 설치 비용을 크게 절약할 수 있습니다(특히 중국과의 칩 전쟁에서 미국이 제재한 회사 중 하나라면 엔비디아 기술을 피할 수도 있습니다).

블랙웰

행성: 은하

포인트: 636,054 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 2개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

20.8k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
26	2024년에 3,900만 개의 마더보드가 판매될 것으로 예상됩니다 28 CPU/MB/RAM 블랙웰 4.2k 07-21
8	인텔 XeSS에 몇 가지 사소한 개선 사항 적용 2 그래픽카드 블랙웰 1.6k 07-21
3	벤치마크 개발자는 Snapdragon X CPU가 좋은 출발을 보이고 있다고 말합니다 4 CPU/MB/RAM 블랙웰 1.4k 07-21
15	CrowdStrike 중단 중 Windows 3.1이 하루를 구하다 - Southwest Airlines, 구식 OS로 간신히 살아남다 22 소프트웨어 신지™ 2.9k 07-21
13	ASUS X870E BIOS 기능 공개: 추가 커브 옵티마이저 및 Ryzen 9000 모니터링 기능 강화 18 CPU/MB/RAM Wormhole 4.3k 07-21
72	인텔, E-코어 없는 14세대 데스크탑 CPU 조용히 출시 112 CPU/MB/RAM Wormhole 21.5k 07-21
5	삼성전자 'AI TV로 바꿔보상' 프로모션 8월까지 연장 5 디스플레이 블랙웰 1.5k 07-21
7	SK하이닉스, HBM4 신 장비 도입 검토… 삼성전자, 평택 P4 수익성에 '설왕설래' 4 업계동향 블랙웰 1.4k 07-21
4	tvN 드라마·티빙 유튜브 해킹, 한나절 만에 복구 4 기타/주변기기 빌보 723 07-20
55	엔비디아 GPU 파트너들이 저렴한 서멀 그리스를 사용해 핫스팟 온도가 100도까지 상승 75 그래픽카드 Wormhole 9.8k 07-20
17	인텔, 14/13세대 노트북 CPU는 데스크탑과 동일한 불안정성 문제에 영향을 받지 않음 31 CPU/MB/RAM Wormhole 4.7k 07-20
15	英 IT 전문가들 “MS 클라우드발 ‘세계 IT 대란’, 완전 정상화하려면 몇 주 걸릴 것” 30 업계동향 빌보 3.2k 07-20
17	콜렉트콜·통화연결음...추억의 통신 서비스 사라진다 23 업계동향 QM포시포시 1.4k 07-20
7	TCL 최초 뱅앤올룹슨 사운드 시스템을 탑재한 TV, A300 Pro 출시 12 디스플레이 심심해❤️ 1.3k 07-20
70	인텔 불안정 이슈는 제조 결함 때문...불량률 10~25% 주장 115 CPU/MB/RAM QM포시포시 12.2k 07-20
0	뷰소닉, 신형 LX700-4K RGB 프로젝터 가격, 사양 및 상세정보 1 기타/주변기기 심심해❤️ 571 07-20
16	크라우드스트라이크 CEO, 이번 사태에 대해 사과 12 업계동향 QM포시포시 2.1k 07-20
92	[루머] AMD Ryzen 9000 시리즈 CPU 가격 유출 117 CPU/MB/RAM Wormhole 24.7k 07-20
2	AMD 그라나이트 릿지/스트릭스 포인트 Zen 5 다이 크기 및 트랜지스터 수 확인 6 CPU/MB/RAM Wormhole 1.9k 07-20
11	구글 크롬, 곧 '위험한' 다운로드에 대한 전체 페이지 경고 표시 시작 10 소프트웨어 Wormhole 2.3k 07-20
6	인텔 루나 레이크용 Xe2 "Arc 140V" iGPU, CompuBench에서 발견 4 CPU/MB/RAM Wormhole 1.4k 07-20
8	인텔 및 AMD 신제품 출시로 2024년 메인보드 시장 회복세로 전환 전망 9 CPU/MB/RAM Wormhole 1.9k 07-20
5	크라우드스트라이크 업데이트로 전세계 은행·항공·방송사 등 피해 속출…주가 하락 4 소프트웨어 큰돌 903 07-20
10	AMD Software: Adrenalin Edition 24.7.1 Release 15 그래픽카드 RoseWoo 3k 07-20
3	오픈AI, GPT-4o 소형 버전 공개…"60% 이상 저렴" 4 소프트웨어 블랙웰 1.4k 07-20
2	엔비디아-미스트랄AI, 신규 AI 모델 출시…"개인 데스크톱도 AI 실행" 3 소프트웨어 블랙웰 854 07-20
12	삼성, 엔비디아行 HBM3 양산…평택 4공장 'D램 전용' 전환 20 업계동향 빌보 3.7k 07-19
37	지스킬, AMD EXPO 지원 Trident Z5 Royal Neo 시리즈 DDR5 메모리 발표 45 CPU/MB/RAM Wormhole 4.2k 07-19
9	Watercool, 200mm 팬용 MO-RA IV 라디에이터 발표 11 쿨링솔루션 Wormhole 1.4k 07-19
1	삼성전자, 올해 말 CXL 2.0 DRAM 양산 계획 3 CPU/MB/RAM Wormhole 1.2k 07-19