JEDEC이 가장 빠른 AI 프로세서에 사용되는 초고가 HBM(High Bandwidth Memory)의 가격을 낮추기 위한 새로운 메모리 규격을 공개했다. 새로운 표준은 대용량 HBM4 DRAM 다이를 사용하는 만큼 현재의 DRAM 공급 부족을 해소하는 데 직접적인 도움이 되지는 않는다. 하지만 고가의 첨단 패키징 공정 없이 SPHBM4 메모리 스택을 저렴한 유기 기판(Organic Substrate)에 실장할 수 있도록 함으로써 HBM의 제조 비용을 낮출 수 있을 것으로 기대된다.
JEDEC은 SPHBM4(Standard Package High Bandwidth Memory, JESD330-4) 규격을 공식 발표했다. 이 표준은 HBM4 DRAM 칩과 표준 패키징 기술, 그리고 고속의 '512비트 협폭(Narrow)' 인터페이스를 결합한 것이 특징이다. 주요 내용은 다음과 같다.
512비트 인터페이스로 구현한 HBM4 성능
HBM3와 HBM4에 사용되는 1,024비트 및 2,048비트 인터페이스는 뛰어난 성능을 제공하지만, 프로세서 내부에서 넓은 실리콘 면적을 차지하고 고가의 인터포저(Interposer)와 함께 TSMC의 CoWoS와 같은 첨단 패키징 기술이 필요하다. 또한 이러한 패키징 기술은 생산 능력에도 제약이 있다. 새롭게 공개된 SPHBM4 메모리는 JESD270-4 기반 HBM4와 동일한 HBM4 DRAM 스택을 사용하지만, 기존 HBM 베이스 다이 대신 새로운 SPHBM4 PHY/버퍼 다이를 적용해 인터페이스 폭을 512비트로 줄였다. 이를 통해 복잡한 첨단 패키징 공정 없이도 일반적인 유기 기판에 실장할 수 있다. 좁아진 인터페이스로 인한 성능 저하를 보완하기 위해 SPHBM4는 22.4GT/s에서 최대 46.0GT/s에 이르는 훨씬 높은 데이터 전송 속도를 지원한다.
SPHBM4는 HBM4처럼 2,048비트 메모리 인터페이스로 호스트 프로세서와 연결되는 대신, 8개의 쿼드 채널(Quad Channel)로 구성된 32개의 독립적인 16비트 DDR 채널을 사용한다. '쿼드 채널'은 새롭게 도입된 개념인 만큼 구조를 살펴볼 필요가 있다. HBM4 메모리 스택 내부에는 각각 64비트 폭을 갖는 32개의 메모리 채널이 존재하며, 이를 모두 합치면 외부 인터페이스 폭은 총 2,048비트가 된다. SPHBM4는 이 2,048비트 내부 I/O를 512비트 외부 인터페이스로 변환해야 하기 때문에 HBM4 채널 4개를 하나의 쿼드 채널로 묶는다. 그 결과 외부에서는 하나의 쿼드 채널이 64개의 데이터 핀(4 × 16비트)만 제공하며, 이는 기존 HBM4에서 동일한 4개 채널을 구현하기 위해 필요했던 256개의 데이터 핀(4 × 64비트)을 대체한다. 줄어든 인터페이스 폭에서도 동일한 대역폭을 유지하기 위해 이 64개 핀은 기존 HBM4 인터페이스보다 4배 높은 데이터 전송 속도로 동작한다.
SPHBM4는 I/O 대역폭을 크게 향상시키지만, DRAM 어레이 자체를 더 빠르게 만드는 것은 아니다. HBM4 메모리 코어는 코어 클록, 행(Row) 활성화, 프리차지(Precharge), 리프레시(Refresh) 등을 포함한 기본 아키텍처와 타이밍을 그대로 유지하며, 추가된 PHY만 일부 지연 시간을 증가시킬 것으로 예상된다. 예를 들어 SPHBM4가 32GT/s 속도로 동작할 경우 DRAM 코어는 외부 인터페이스 주파수의 4분의 1인 2GHz로 동작한다.
가장 큰 변화는 새로운 베이스 다이다. 이 베이스 다이는 고속 SerDes와 유사한 PHY를 구현해 외부의 16비트 채널 하나를 기존 HBM4의 64비트 채널 4개와 연결한다. 이에 따라 SPHBM4에는 HBM4의 넓은 병렬 인터페이스에서는 필요하지 않았던 이퀄라이제이션(Equalization), 레인 트레이닝(Lane Training), BER(Bit Error Rate) 요구사항 등 다양한 고속 신호 처리 기술이 새롭게 추가됐다. 최대 46.0GT/s의 핀당 데이터 전송 속도를 지원하기 위해 각 쿼드 채널은 순방향 오류 수정(FEC)이 적용된 공유 명령/주소 인터페이스를 사용하며, 데이터 전송에는 전용 차동 쓰기 클록(WCK), 읽기 클록(RCK), ECC 및 오류 보고 신호가 활용된다.
용량 측면에서 SPHBM4는 24Gb 또는 32Gb DRAM 다이를 4단, 8단, 12단, 16단으로 적층한 메모리 스택을 지원한다. 이에 따라 표준 규격 기준 최대 구성은 32Gb DRAM 다이 16개를 적층한 64GB 메모리 스택으로, 이는 HBM4E가 지원하는 최대 용량과 동일하다.
드디어 저렴한 HBM 시대가 열릴까?
SPHBM4는 90㎛ 이상의 범프 피치(Bump Pitch)와 최대 20mm의 채널 길이를 지원한다. 이러한 특징 덕분에 고가의 실리콘 인터포저를 제거하고 보다 저렴한 유기 기판 배선을 사용할 수 있다. 하지만 인터포저와 CoWoS(또는 유사한 패키징 기술)를 없앤다고 해서 SPHBM4 자체가 저렴해지는 것은 아니다. SPHBM4는 여전히 대형 HBM4 DRAM 칩, 2.5D 패키징, 기존 HBM4보다 오히려 더 복잡하고 비용이 높을 것으로 예상되는 베이스 다이, 그리고 TSV(Through-Silicon Via)를 이용한 첨단 패키지 조립 공정을 필요로 한다. 반면 512비트의 협폭 인터페이스는 프로세서 내부에서 차지하는 다이 둘레와 실리콘 면적을 크게 줄여 더 많은 연산 유닛을 배치하거나 동일한 공간에 더 많은 메모리 스택을 탑재하려는 업체들에게는 상당한 매력이 될 수 있다. 다만 SPHBM4 역시 특정 용도를 겨냥한 고성능 메모리 기술인 만큼 HBM4를 직접 대체하기보다는 일부 시장을 겨냥할 가능성이 높다.
최대 성능을 기준으로 보면 HBM4는 기본적으로 8GT/s에서 동작하며(대부분의 컨트롤러와 칩은 이보다 높은 속도도 지원), 메모리 스택 하나당 최대 2TB/s의 대역폭을 제공한다. HBM4E는 데이터 전송 속도를 12~12.8GT/s까지 높여 스택당 최대 3~3.3TB/s의 대역폭을 제공할 예정이다. 이에 비해 SPHBM4는 46GT/s 인터페이스를 사용할 경우 최대 2.944TB/s의 대역폭을 제공할 수 있지만, 초기 제품이 곧바로 최고 속도에 도달할 것으로 기대하기는 어렵다. 따라서 가까운 미래에도 HBM4와 HBM4E, C-HBM4E가 메모리 대역폭 측면에서는 SPHBM4보다 우위를 유지할 가능성이 크다.
지연 시간(Latency) 역시 HBM4가 우세할 것으로 보인다. HBM4는 매우 단순한 인터페이스를 통해 호스트 프로세서와 사실상 직접 연결된다. 반면 SPHBM4는 직렬화·역직렬화, 레인 트레이닝, FEC 처리 등을 수행하는 복잡한 PHY를 추가하기 때문에 수 나노초 수준의 지연 시간이 더해질 수 있다. 일부 애플리케이션에서는 큰 문제가 아닐 수 있지만, 추론(Inference) 작업은 낮은 지연 시간의 이점을 크게 활용할 수 있다.
전력과 동작 전압 측면에서는 HBM4와 SPHBM4가 동일한 HBM4 DRAM 스택을 사용하기 때문에 DRAM 코어 전압은 동일하다. 그러나 I/O는 차이가 있다. HBM4는 메모리 제조사가 전력 효율과 속도, 신호 무결성의 균형에 따라 0.7V, 0.75V, 0.8V, 0.9V 중 하나를 선택할 수 있도록 설계됐다. 반면 SPHBM4는 외부 I/O 전압을 0.75V로 표준화했다.
또한 HBM4는 많은 수의 저속 병렬 링크를 이용하는 넓은 인터페이스를 사용하기 때문에 일반적으로 전력 효율이 높다. 반면 SPHBM4는 동일한 데이터를 4분의 1 수준의 배선으로 전송하며, 각 배선은 약 4배 빠르게 동작한다. 일반적으로 고속 데이터 전송은 넓은 인터페이스를 통한 저속 전송보다 전력 효율이 떨어진다. 여기에 SPHBM4는 넓은 인터페이스를 협폭 인터페이스로 변환하는 복잡한 PHY를 사용하기 때문에 상당한 전력을 소비할 가능성이 있다. 다만 드라이버와 리시버의 개수가 4분의 1로 줄어드는 만큼 전력 소비를 줄이는 효과도 기대할 수 있다. 결국 DRAM 제조사나 프로세서 개발사의 실제 구현 방식이 공개되기 전까지는 어느 쪽이 더 전력 효율적인지 단정하기 어렵다.
마지막으로 SPHBM4는 실리콘 인터포저를 사용하는 과정에서 발생하는 제조상의 어려움을 매우 복잡한 베이스 다이와 PHY 설계라는 새로운 기술 과제로 바꾼 셈이다. 이러한 베이스 다이의 설계와 생산은 파운드리 입장에서 큰 문제가 되지 않을 것으로 보인다. 다만 DRAM 제조사들이 충분한 전력 효율을 갖춘 SPHBM4를 설계하고 양산할 수 있을지는 아직 지켜봐야 한다. 현재 Micron과 SK하이닉스는 TSMC와 협력해 C-HBM4E 및 HBM4E용 베이스 다이를 개발하고 있으며, 삼성전자 메모리 사업부는 삼성 파운드리가 생산한 베이스 다이를 사용하고 있다.
중국에는 어떤 의미가 있을까?
SPHBM4에서 흥미로운 부분 가운데 하나는 중국 AI 가속기 개발사들이 이 기술의 수혜를 받을 수 있는지 여부다. 이론적으로 TSMC의 반도체 제조 및 패키징 서비스를 이용할 수 없는 Biren, Huawei, Moore Threads 등 중국 AI 기업들은 SPHBM4의 가장 큰 수혜자가 될 수도 있다.
우선 인터페이스가 차지하는 다이 둘레가 줄어들면 구형 공정에서 생산되는 칩에도 더 많은 연산 유닛을 집적하면서 메모리 대역폭과 용량을 유지할 수 있다는 장점이 있다. 또한 현재 중국 OSAT 업체들은 CoWoS와 같은 첨단 패키징 기술을 제공하지 못하고 있기 때문에, 인터포저를 제거하고 고급 유기 기판을 사용하는 SPHBM4는 상당한 이점을 제공한다.
하지만 SPHBM4 역시 HBM4 DRAM 스택을 필요로 하며, 현재 이를 생산할 수 있는 기업은 삼성전자, SK하이닉스, Micron뿐이다. 중국 CXMT도 아직 HBM2E 수준에 머물러 있다. 여기에 46GT/s급 PHY를 설계하는 것 역시 매우 어려운 과제로, 중국 반도체 기업들에게도 큰 기술적 도전이 될 전망이다.
그럼에도 불구하고 유기 기판 기반의 SPHBM4 패키지 조립은 현재 중국의 제조 기반과 더 잘 맞는 방식이다. 향후 중국 메모리 업체들이 경쟁력 있는 HBM4급 메모리를 개발하게 된다면 SPHBM4는 중국 반도체 산업이 안고 있는 인프라 격차를 상당 부분 줄여줄 수 있을 것으로 기대된다.
요약
JEDEC의 SPHBM4는 HBM4보다 통합 비용을 낮춰 보다 다양한 애플리케이션에 적용될 가능성이 있는 유망한 새로운 메모리 규격이다. 다만 성능 측면에서는 HBM4와 HBM4E, C-HBM4E가 앞으로도 우위를 유지할 것으로 보이며, 향후 수년간 최상위 AI 가속기 시장에서는 여전히 이들 메모리 기술이 주력으로 사용될 가능성이 높다. |