Nvidia의 하이퍼스케일 및 고성능 컴퓨팅 부문 부사장이자 CUDA의 개발자인 Ian Buck은 "Grace 단독 서버를… 수십만 대 수준으로 출하했다고 보면 된다"고 밝혔다. Nvidia는 지난 5월 Grace CPU를 총 250만 개 이상 출하했다고 공개했으며, 2월에는 Meta와 협력해 Grace 단독 서버를 배치한다고 발표한 바 있다. 다만 Buck의 발언은 Nvidia가 다른 기업들이 주도하는 시장에서 경쟁력을 확보하려는 가운데, 실제 배치 규모가 이보다 더 클 수 있음을 시사한다.
흥미로운 발언이지만 놀라운 내용은 아니다. Nvidia는 AI 추론을 위한 전례 없는 데이터센터 구축 붐으로 GPU 수요가 폭증하면서 실리콘밸리의 지배적인 기업으로 자리 잡았다. 그러나 올해 정점을 찍은 이후 투자자들이 Intel과 같은 CPU 업체들에 관심을 돌리면서 Nvidia의 시가총액은 약 1조 달러가 증발했다. 진화하는 에이전트형 AI 워크로드는 하드웨어 구성의 균형도 바꾸고 있으며, CPU 1개당 최대 GPU 8개를 사용하는 구조에서 일부 사례에서는 CPU와 GPU를 1:1로 구성하는 방향으로 이동하고 있다.
Nvidia는 이러한 흐름에 맞춰 해당 유형의 워크로드를 위해 특별히 설계된 새로운 Vera CPU를 앞세우려 하고 있다. 다만 최근 에이전트 AI의 부상 이전부터도 Nvidia는 데이터 처리량이 많은 워크로드에서 자사 CPU에 대한 수요를 확인했다고 설명한다. Buck은 "Grace는 웹 서버를 구동하기 위한 것이 아니었고… 클라우드에서 사용하는 것처럼 코어당 비용이 저렴한 용도로 쓰이는 것도 아니었다"며, "Grace는 백엔드의 데이터 집약적인 작업, 예를 들어 데이터 처리 같은 용도로 배치됐다"고 말했다.
Grace는 Nvidia가 데이터센터 CPU 시장에 진입하기 위한 발판이다. Grace는 Arm의 표준 Neoverse V2 코어 72개를 사용하지만, Nvidia의 Scalable Coherency Fabric(SCF) 으로 차별화를 이뤘다. Vera는 개선된 SCF를 사용하며, Olympus라는 이름의 Nvidia 첫 자체 설계 CPU 코어도 탑재했다. Grace가 시장 진입의 문을 열었다면, Vera는 AMD와 Intel을 상대로 데이터센터 CPU 시장에 본격적으로 뛰어드는 제품이라는 의미다.
Vera가 차세대 데이터센터 CPU 경쟁에서 어떤 위치를 차지하든, 설계 방식은 Intel과 AMD가 지금까지 보여준 것과는 크게 다르다. AMD가 이번 주 Zen 6 Venice CPU를 출시할 것으로 예상되면서 경쟁은 더욱 치열해지고 있다. 가장 큰 차이점은 Vera가 88개의 모든 코어를 하나의 실리콘 다이에 집적한 모놀리식 설계를 채택했다는 점이다. AMD와 Intel은 이미 수년 전 모놀리식 다이에서 칩렛 구조로 전환했으며, 이를 통해 코어 밀도를 크게 높인 대신 지연 시간과 코히어런시 문제를 감수했다. Vera는 단일 다이로 제작된 것은 물론, 다이 면적의 상당 부분을 패브릭에 할당했다는 점에서도 매우 다른 접근 방식을 취하고 있다.
Buck은 "128개 코어를 넣지 않은 이유 중 하나는 다이 면적의 상당 부분을 패브릭에 할애했기 때문"이라며, "CPU 내부에는 3.4TB/s의 대역폭이 제공되며, 이를 통해 모든 코어가 모든 캐시와 모든 메모리 컨트롤러에 충돌 없이 최대 속도로 접근할 수 있다"고 설명했다.
정확히 말하면 Buck이 언급한 3.4TB/s는 Vera의 코어 간 통신 대역폭을 의미한다. 메모리 대역폭은 LPDDR5X 인터페이스를 통해 최대 1.2TB/s(코어당 14GB/s)를 제공한다.
하지만 칩렛 기반 설계가 스레드당 성능에서 일정 부분 절충을 선택했던 것처럼, Vera 역시 독특한 아키텍처를 위해 다른 부분에서 절충이 필요할 가능성이 있다. 현재 데이터센터 워크로드의 대부분은 하이퍼스케일 업체들이 오랫동안 구축해 온 '레거시' 작업이며, AI 인프라 수요가 아무리 폭발적으로 증가하더라도 이러한 상황은 앞으로 수년 동안 크게 바뀌지 않을 가능성이 높다.
Buck 역시 이러한 절충점을 인정하며 "Intel과 다른 업체들이 풍부한 패브릭을 구축할 수 있을까? 이를 구현하고 LP 메모리까지 연결할 수 있는 IP와 생태계를 갖추고 있을까? 언제 그것을 구현할 수 있을지 그들이 직접 설명해야 한다"며, "다만 그런 선택은 레거시 워크로드 성능을 희생하는 대가를 치르게 될 것"이라고 말했다. Buck은 올해 3월 GTC에서도 이 점을 더욱 분명히 밝힌 바 있다. 당시 기자간담회에서 그는 "세상이 하나의 CPU SKU만으로 운영되지는 않을 것이며, 그것이 우리의 목표도 아니다"라고 말했다.
그럼에도 Nvidia가 데이터센터 CPU 시장에서 뉴욕증권거래소를 중심으로 나오는 헤드라인 이상의 야심을 품고 있다는 점은 분명하다. Nvidia는 CPU 시장을 자사에 2,000억 달러 규모의 TAM(Total Addressable Market, 총주소가능시장) 기회로 보고 있다. 이는 업계가 2030년까지 약 1,200억 달러(최근에는 최대 1,700억 달러까지 상향 조정)로 전망하는 것보다 훨씬 낙관적인 수치다. 또한 에이전트형 AI는 이 시장을 더욱 확대하고 있으며, Morgan Stanley는 지난 4월 에이전트 AI가 데이터센터 CPU 시장에 최대 600억 달러를 추가할 수 있을 것으로 추산했다.
Vera는 Rubin GPU, ConnectX-9 NIC, SpectrumX 이더넷 스위치, 그리고 Vera Rubin NVL72 랙을 구성하는 다양한 부품과 함께 Nvidia의 차세대 AI 인프라와 동시에 본격 양산되고 있다. Nvidia에 따르면 랙 하나에는 약 130만 개의 부품이 사용되며, 이를 생산하기 위해 전 세계 300곳이 넘는 파트너사와 협력하고 있다. 지난주 Nvidia 본사를 방문했을 때, 우리는 OpenAI의 워크로드를 실행하는 Vera Rubin NVL72 랙이 실제로 동작하는 모습을 직접 확인할 수 있었다. |