엔비디아의 최신 "루빈" GPU 아키텍처는 여러 랙, 시스템 및 데이터 센터에 걸쳐 컴퓨팅을 확장하는 데 있어 회사의 가장 중요한 발전 중 하나를 나타냅니다. 엔비디아는 오늘 희소한 NVFP4 연산에서 50페타플롭스의 컴퓨팅 성능을 제공할 수 있는 가속기의 기반 기술을 공개했습니다. 엔비디아A의 "루빈" GPU는 최대 224개의 스트리밍 멀티프로세서(SM)와 288GB의 HBM4 메모리를 포함합니다. 3,360억 개의 트랜지스터를 통해 엔비디아는 3세대 트랜스포머 엔진을 탑재한 896개의 텐서 코어도 통합했습니다. 막대한 컴퓨팅 성능을 구현하기 위해 엔비디아는 중앙 집중식 L2 캐시를 갖춘 그래픽 프로세서 클러스터(GPC)로 GPU 리소스를 구성합니다. GPC와 함께 작동하는 GigaThread 엔진은 워크플로우를 조정하고 GPU 리소스 활용을 최적화합니다. 또한 최신 CPU가 가상 코어를 처리하는 방식과 유사하게 GPU를 여러 개의 가상 GPU로 분할할 수 있는 MIG 제어 파티션도 있습니다.
메모리 측면에서 엔비디아는 파트너사와 협력하여 12개의 모듈을 쌓아 288GB의 HBM4 메모리를 제공합니다. 전용 HBM 컨트롤러와 물리 계층은 최대 22TB/s의 피크 메모리 대역폭을 제공하는 HBM4를 활용하여 업계 최고 수준의 경쟁력을 확보했습니다. 텐서 메모리 엑셀러레이터는 데이터 이동 효율성을 향상시키도록 업데이트되었으며, 전체 GPU와의 확장 및 통신은 NVLink 6를 통해 관리됩니다. NVLink 6를 사용하면 모든 GPU 간 통신은 3,600GB/s의 패브릭 대역폭으로 작동하며, NVLink-C2C 칩 간 통신은 1,800GB/s의 대역폭으로 CPU-GPU 간 통신을 지원합니다. 또한 엔비디아는 외부 장치와의 통신을 위해 256GB/s 대역폭의 PCIe Gen 6 스위치를 제공합니다.

엔비디아의 가장 큰 장점 중 하나는 확장 가능한 통신 기능으로, 랙 규모 시스템 내에서 GPU가 다른 GPU와 원활하게 통신할 수 있도록 지원합니다. 기존 GPU 간 통신은 조정 및 동기화가 필요하며, 이로 인해 시스템이 데이터 이동을 기다리면서 지연이 발생할 수 있습니다. 엔비디아는 "루빈"에서 각 GPU가 독립적으로 데이터 전송을 관리하는 장치 주도 통신을 구현하여 이러한 문제를 해결했습니다. 따라서 외부 최적화가 필요 없어지고 지연 시간이 줄어듭니다.

이러한 시스템은 상당한 전력을 소모하는 것으로 알려져 있으며, 단일 NVL72 랙에는 72개의 GPU가 탑재됩니다. 엔비디아는 "베라 루빈" NVL72에 지능형 전력 평활화(Intelligent Power Smoothing) 기술을 적용하여 모든 시스템 구성 요소를 단일 고정 전력 범위로 통합했습니다. 예를 들어, AI 워크로드 실행 시 전력 수요는 CPU를 기다리는 유휴 GPU에서 최대 GPU 사용률까지 급격하게 변동할 수 있습니다. 지능형 전력 평활화 기술을 통해 "베라 루빈" NVL72 시스템은 이전 버전인 "그레이스 블랙웰" NVL72 대비 평균 전력 소비량을 약 10%, 50ms 피크 전력 소비량을 약 20% 절감했습니다. 엔비디아 DSX MaxLPS를 통해 전력 예산 최적화 기능이 더욱 향상되었습니다.

|