하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

1조 개의 트랜지스터 GPU에 도달하는 방법: 반도체의 발전이 AI 붐을 일으키고 있다.

HolGang2

3 901 4 2024.07.15 20:15

1조 개의 트랜지스터 GPU에 도달하는 방법: 반도체의 발전이 AI 붐을 일으키고 있다. 
마크 리우 박사, H.-S. PHILIP WONG
2024년 3월 28일
 마크 리우 박사: TSMC 이사회 의장
Professor H.-S. PHILIP WONG:스탠포드 대학교 공과대학 교수이자 TSMC의 수석 과학자
<img src="https://img2.quasarzone.com/editor/2024/07/15/8bf0719d6e6d8f1b751a69fb290d1526.jpg" alt="퀘이사존"> 1997년 IBM 딥 블루 슈퍼컴퓨터는 세계 체스 챔피언 개리 카스파로프를 물리쳤습니다. 이는 슈퍼컴퓨터 기술의 획기적인 시연이자 고성능 컴퓨팅이 언젠가 인간 수준의 지능을 추월할 수 있다는 가능성을 처음으로 엿볼 수 있는 순간이었습니다. 그 후 10년 동안 우리는 얼굴 인식, 언어 번역, 영화 및 상품 추천 등 많은 실용적인 업무에 인공지능을 사용하기 시작했습니다. 
그리고 다시 10년 반이 지난 지금, 인공지능은 "지식을 종합"할 수 있을 정도로 발전했습니다. ChatGPT와 Stable Diffusion과 같은 생성형 AI는 시를 짓고, 예술 작품을 만들고, 질병을 진단하고, 요약 보고서와 컴퓨터 코드를 작성하고, 심지어 인간이 만든 것과 맞먹는 집적 회로를 설계할 수 있습니다.
인공지능이 모든 인간의 노력에 디지털 비서가 될 수 있는 엄청난 기회가 우리 앞에 놓여 있습니다. ChatGPT는 AI가 어떻게 고성능 컴퓨팅의 사용을 대중화하여 사회의 모든 개인에게 혜택을 제공하는지 보여주는 좋은 예입니다.
 이러한 놀라운 AI 애플리케이션은 효율적인 머신러닝 알고리즘의 혁신, 신경망을 훈련할 수 있는 방대한 양의 데이터, 반도체 기술의 발전을 통한 에너지 효율적인 컴퓨팅의 발전이라는 세 가지 요인에 힘입은 바가 큽니다. 인공지능 혁명에 기여한 이 마지막 요소는 보편화되었음에도 불구하고 그 공로를 제대로 인정받지 못했습니다.
지난 30년 동안 AI의 주요 이정표는 모두 당시의 최첨단 반도체 기술 덕분에 가능했으며, 반도체 기술이 없었다면 불가능했을 것입니다. 
 -딥 블루는 0.6마이크로미터와 0.35마이크로미터 노드 칩 제조 기술을 혼합하여 구현되었습니다. 
-현재 머신러닝의 시대를 연 이미지넷 대회에서 우승한 딥 뉴럴 네트워크는 40나노미터 기술로 구현되었습니다. 
-알파고는 28나노 기술을 사용하여 바둑을 정복했으며, ChatGPT의 초기 버전은 5나노 기술로 제작된 컴퓨터에서 훈련되었습니다. 
-가장 최근의 ChatGPT는 훨씬 더 발전된 4나노 기술을 사용하는 서버로 구동됩니다. 
 소프트웨어와 알고리즘부터 아키텍처, 회로 설계, 디바이스 기술에 이르기까지 관련된 컴퓨터 시스템의 각 계층은 AI의 성능을 배가시키는 역할을 합니다. 하지만 기본이 되는 트랜지스터-소자 기술은 위의 레이어들을 발전시킬 수 있는 기반 기술이라고 해도 과언이 아닙니다.
AI 혁명이 현재 속도로 계속 진행되려면 반도체 산업에서 더 많은 것을 필요로 하게 될 것입니다. 10년 이내에 1조 개의 트랜지스터 GPU, 즉 현재보다 10배 더 많은 디바이스를 갖춘 GPU가 필요할 것입니다. <img src="https://img2.quasarzone.com/editor/2024/07/15/01b2c4217a0f7431c0d1838feaf14097.jpg" alt="퀘이사존"> 
신소재, 리소그래피의 발전, 새로운 유형의 트랜지스터, 첨단 패키징 등 반도체 기술[상단]의 발전은 더 뛰어난 성능의 AI 시스템[하단]을 개발하는 원동력이 되었습니다.
 AI 모델 크기의 끊임없는 성장 
AI 학습에 필요한 연산과 메모리 액세스는 지난 5년 동안 엄청나게 증가했습니다. 예를 들어, GPT-3를 훈련하려면 하루 종일 초당 50억 회 이상의 연산(5,000페타플롭-일)과 3조 바이트(3테라바이트)의 메모리 용량이 필요합니다.
새로운 세대의 AI 애플리케이션에 필요한 컴퓨팅 성능과 메모리 액세스는 계속해서 빠르게 증가하고 있습니다. 이제 우리는 시급한 질문에 답해야 합니다: 반도체 기술이 어떻게 이 속도를 따라잡을 수 있을까요?
 집적 소자에서 통합 칩렛으로
 집적 회로가 발명된 이래 반도체 기술은 엄지손톱 크기의 칩에 더 많은 트랜지스터를 집어넣을 수 있도록 피처 크기를 축소하는 방향으로 발전해 왔습니다. 오늘날에는 집적도가 한 단계 더 높아져 2D 스케일링을 넘어 3D 시스템 통합으로 나아가고 있습니다. 이제 우리는 많은 칩을 긴밀하게 통합하고 대규모로 상호 연결된 시스템으로 통합하고 있습니다. 이것이 바로 반도체 기술 통합의 패러다임 전환입니다.
AI 시대에 시스템의 성능은 해당 시스템에 통합된 트랜지스터의 수에 정비례합니다. 주요 한계 중 하나는 리소그래피 칩 제조 도구가 레티클 한계라고 불리는 약 800제곱밀리미터 이하의 IC를 만들 수 있도록 설계되었다는 점입니다. 하지만 이제 우리는 리소그래피의 레티클 한계를 넘어 통합 시스템의 크기를 확장할 수 있습니다. 더 큰 인터포저(인터커넥트가 내장된 실리콘 조각)에 여러 개의 칩을 부착함으로써 단일 칩에서 가능한 것보다 훨씬 더 많은 수의 디바이스를 포함하는 시스템을 통합할 수 있습니다. 예를 들어, TSMC의 칩 온 웨이퍼 온 기판(CoWoS) 기술은 최대 6개의 레티클 필드에 해당하는 컴퓨팅 칩과 12개의 고대역폭 메모리(HBM) 칩을 수용할 수 있습니다.
 *엔비디아의 CoWoS 첨단 패키징 활용 방법
TSMC의 칩 온 웨이퍼 온 실리콘 고급 패키징 기술인 CoWoS는 이미 제품에 적용되었습니다. 그 예로 Nvidia Ampere 및 Hopper GPU를 들 수 있습니다. 각각은 실리콘 인터포저에 6개의 고대역폭 메모리 큐브가 있는 하나의 GPU 다이로 구성됩니다. 컴퓨팅 GPU 다이의 크기는 현재 칩 제조 도구가 허용하는 최대 크기입니다. 암페어는 540억 개의 트랜지스터를, 호퍼는 800억 개의 트랜지스터를 가지고 있습니다. 7nm 기술에서 더 밀도가 높은 4nm 기술로 전환하면서 본질적으로 동일한 면적에 50% 더 많은 트랜지스터를 집적할 수 있게 되었습니다. 암페어와 호퍼는 오늘날의 대규모 언어 모델(LLM) 학습을 위한 주력 제품입니다. ChatGPT를 훈련하려면 이러한 프로세서 수만 개가 필요합니다.
 HBM은 AI에 점점 더 중요해지고 있는 또 다른 핵심 반도체 기술인 칩을 서로 쌓아 시스템을 통합하는 기능, 즉 TSMC에서 시스템온칩(SoIC)이라고 부르는 기술의 한 예입니다. HBM은 제어 로직 IC 위에 수직으로 상호 연결된 DRAM 칩 스택으로 구성됩니다. 각 칩을 통해 신호를 얻고 메모리 칩 사이의 연결을 형성하기 위해 납땜 범프를 납땜하기 위해 실리콘 관통전극(TSV)이라는 수직 상호 연결을 사용합니다. 오늘날 고성능 GPU는 HBM을 광범위하게 사용합니다.
앞으로 3D SoIC 기술은 오늘날의 기존 HBM 기술에 대한 'bumpless alternative(범프 없는 대안)'을 제공하여 적층된 칩 사이에 훨씬 더 밀도 높은 수직 상호 연결을 제공할 수 있습니다. 최근의 발전으로 솔더 범프보다 더 높은 밀도의 구리 대 구리 연결인 하이브리드 본딩을 사용하여 12층의 칩을 적층한 HBM 테스트 구조가 등장했습니다. 더 큰 기본 로직 칩 위에 저온에서 접합된 이 메모리 시스템의 총 두께는 600µm에 불과합니다.
 대규모 AI 모델을 실행하는 다수의 다이로 구성된 고성능 컴퓨팅 시스템에서는 고속 유선 통신으로 인해 계산 속도가 빠르게 제한될 수 있습니다. 오늘날 광 인터커넥트(optical interconnects)는 이미 데이터센터의 서버 랙을 연결하는 데 사용되고 있습니다. 곧 GPU 및 CPU와 함께 패키징된 실리콘 포토닉스 기반의 광 인터페이스가 필요할 것입니다. 이를 통해 에너지 및 면적 효율적인 대역폭을 확장하여 직접 광 GPU-GPU 통신을 할 수 있으므로 수백 대의 서버가 통합 메모리를 갖춘 하나의 거대한 GPU처럼 작동할 수 있습니다. AI 애플리케이션의 수요로 인해 실리콘 포토닉스는 반도체 산업에서 가장 중요한 기술 중 하나가 될 것입니다.
 1조 개의 트랜지스터 GPU를 향해
 앞서 언급했듯이 AI 학습에 사용되는 일반적인 GPU 칩은 이미 레티클 필드 한계에 도달했습니다. 그리고 트랜지스터 수는 약 1,000억 개에 달합니다. 트랜지스터 수가 계속 증가하는 추세를 이어가려면 연산을 수행하기 위해 2.5D 또는 3D 통합으로 상호 연결된 여러 개의 칩이 필요합니다. CoWoS 또는 SoIC 및 관련 첨단 패키징 기술을 통해 여러 칩을 통합하면 단일 칩에 집적할 수 있는 것보다 시스템당 총 트랜지스터 수가 훨씬 더 많아질 수 있습니다. 10년 이내에 멀티칩 GPU는 1조 개 이상의 트랜지스터를 보유하게 될 것으로 예상됩니다.
이 모든 칩을 3D 스택으로 연결해야 하지만 다행히도 업계에서는 수직 상호 연결의 피치를 빠르게 축소하여 연결 밀도를 높일 수 있었습니다. 그리고 더 많은 공간을 확보할 수 있습니다. 인터커넥트 밀도를 몇 배, 심지어 그 이상으로 늘리지 못할 이유가 없습니다.
 **AMD의 3D 기술 사용 방법
AMD MI300A 가속 프로세서 유닛은 CoWoS뿐만 아니라 TSMC의 3D 기술인 실리콘 온 집적 회로(SoIC)도 활용합니다. MI300A는 가장 큰 AI 워크로드를 처리하도록 설계된 GPU 및 CPU 코어를 결합합니다. GPU는 AI를 위한 집중적인 행렬 곱셈 연산을 수행하고 CPU는 전체 시스템의 작업을 제어하며 고대역폭 메모리(HBM)가 통합되어 두 가지 작업을 모두 수행합니다. 5nm 기술로 구축된 9개의 컴퓨팅 다이가 캐시 및 I/O 트래픽 전용인 6nm 기술의 베이스 다이 4개 위에 적층되어 있습니다. 베이스 다이와 HBM은 실리콘 인터포저 위에 위치합니다. 프로세서의 연산 부분은 1,500억 개의 트랜지스터로 구성됩니다. <img src="https://img2.quasarzone.com/editor/2024/07/15/f9d9b2f8e3c64c59e6c6758775699dfc.jpg" alt="퀘이사존"> 
3D 칩의 수직 연결 밀도는 GPU의 트랜지스터 수와 거의 같은 비율로 증가했습니다.
 GPU의 에너지 효율적인 성능 트렌드
 그렇다면 이 모든 혁신적인 하드웨어 기술은 시스템 성능에 어떻게 기여할까요?
에너지 효율 성능이라는 지표가 꾸준히 개선되고 있는 것을 보면 이미 서버 GPU에서 이러한 추세를 확인할 수 있습니다. EEP는 시스템의 에너지 효율과 속도를 종합적으로 측정한 지표입니다. 지난 15년 동안 반도체 업계는 2년마다 에너지 효율 성능을 약 3배씩 향상시켜 왔습니다. 이러한 추세는 앞으로도 계속될 것으로 예상됩니다. 이는 신소재, 소자 및 통합 기술, 극자외선(EUV) 리소그래피, 회로 설계, 시스템 아키텍처 설계, 그리고 무엇보다도 이러한 모든 기술 요소의 최적화를 포함한 다양한 원천의 혁신에 의해 주도될 것입니다.
 <img src="https://img2.quasarzone.com/editor/2024/07/15/8571959232377b0bb82233e242293ff7.jpg" alt="퀘이사존"> 반도체 기술의 발전 덕분에 에너지 효율 성능이라는 척도는 2년마다 3배씩 증가하는 추세에 있습니다(EEP 단위는 1/femtojoule-picoseconds).
 특히, 여기서 논의한 첨단 패키징 기술을 통해 EEP 증가가 가능해질 것입니다. 또한, GPU의 다양한 기능 부품을 자체 칩렛에 분리하고 각각에 가장 적합하고 경제적인 기술을 사용하여 구축하는 시스템 기술 최적화(STCO)와 같은 개념이 점점 더 중요해질 것입니다.
 3D 집적 회로를 위한 미드-콘웨이의 순간
 1978년, 캘리포니아 공과대학의 교수인 Carver Mead와 Xerox PARC의 Lynn Conway는 집적 회로를 위한 컴퓨터 지원 설계 방법을 발명했습니다. 이들은 칩 스케일링을 설명하는 일련의 설계 규칙을 사용하여 엔지니어가 공정 기술에 대한 많은 지식 없이도 초대형 집적(VLSI) 회로를 쉽게 설계할 수 있도록 했습니다.
3D 칩 설계에도 이와 같은 역량이 필요합니다. 오늘날 설계자는 칩 설계, 시스템 아키텍처 설계, 하드웨어 및 소프트웨어 최적화에 대한 지식이 필요합니다. 제조업체는 칩 기술, 3D IC 기술, 고급 패키징 기술을 알아야 합니다. 1978년에 그랬던 것처럼, 전자 설계 도구가 이해할 수 있는 방식으로 이러한 기술을 설명할 수 있는 공통 언어가 다시 필요합니다. 이러한 하드웨어 설명 언어를 사용하면 설계자는 기반 기술에 관계없이 자유롭게 3D IC 시스템 설계 작업을 수행할 수 있습니다. 곧 출시될 예정입니다: 3Dblox라는 오픈 소스 표준은 오늘날 대부분의 기술 기업과 전자 설계 자동화(EDA) 기업에서 이미 채택하고 있습니다. 
터널 너머의 미래 
인공지능 시대에 반도체 기술은 새로운 인공지능 기능과 애플리케이션의 핵심 원동력입니다. 새로운 GPU는 더 이상 과거의 표준 크기와 폼 팩터에 제약을 받지 않습니다. 새로운 반도체 기술은 더 이상 차세대 트랜지스터를 2차원 평면에 축소하는 데 국한되지 않습니다. 통합 AI 시스템은 에너지 효율이 높은 트랜지스터, 특수 컴퓨팅 워크로드를 위한 효율적인 시스템 아키텍처, 소프트웨어와 하드웨어 간의 최적화된 관계를 통해 실용적인 만큼 구성될 수 있습니다.
지난 50년 동안 반도체 기술 개발은 마치 터널 안을 걷는 것과 같았습니다. 잘 정해진 길이 있었기 때문에 앞길이 명확했습니다. 그리고 모두가 무엇을 해야 하는지 알고 있었습니다: 트랜지스터를 축소하는 것이었죠. 
댓글: <div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);">Joshua Stern 14 JUL, 2024저는 이 부분에 대해 매우 회의적이며 Spectrum의 새로운 기발한 편집 스타일이 전문적이지 않다고 생각합니다. LLM의 진정한 효용과 가치는 아직 확립되지 않았습니다. 극단적인 규모의 필요성은 이미 2년 전에 깨졌을지도 모릅니다! 뉴로모픽에 관한 기사를 보면 약 6배, 어쩌면 그 이상의 개선을 약속하는 기사가 있습니다. 칩렛 기술에는 엄청난 추가 비용과 수율 문제가 있습니다. 뭐, 뭐라 할 말이 없죠. 약 3년 후에 엄청난 회고 기사를 준비하세요.
Gaurav Tripathi 31 MAR, 2024컴퓨팅의 이러한 경이로운 성장은 당연히 컴퓨팅 비용을 낮추고 있으며, 이는 이전에는 너무 비싸서 도입하기 힘들다고 여겨졌던 많은 혁신을 촉진할 것입니다.
 Subrata Goswami 31 MAR, 2024훌륭한 개요입니다. 실리콘 결정 격자 매개변수가 0.543nm인 상황에서 트랜지스터가 얼마나 더 줄어들지(무어의 법칙)는 논쟁의 여지가 있습니다. 다음 단계는 PCB를 축소하는 것인데, 이것이 바로 CoWoS가 하고 있는 것으로 보입니다. 거대한 LLM에는 1~2조 개의 파라미터가 있으며, 현재 각 파라미터는 정확도를 위해 16비트가 필요하므로 대용량 메모리와 대규모 연산이 필요합니다. DRAM(HBM) 셀 크기는 물리학의 한계로 인해 정체되어 있습니다. 컴퓨팅 성능은 메모리 용량(용량 및 대역폭)을 비약적으로 발전시켰으며 더 이상 병목 현상이 발생하지 않습니다.</td></tr></tbody></table></div>

HolGang2

행성: 천왕성

포인트: 1,394 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 3개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

21.2k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
0	Starforge Systems, 장송의 프리렌 한정판 에디션 출시 케이스 QM포시포시 16 12:36
2	인텔의 다이아몬드 래피즈는 LGA9324 패키징을 사용할 예정입니다. 8 CPU/MB/RAM user_854318 246 11:24
7	AMD, 라이젠 9000 게임 성능 해명...윈11 24H2에서 성능 향상 약속 21 CPU/MB/RAM QM포시포시 1.7k 10:27
1	빠른 앱 저글링을 위한 매끄러운 작업 표시줄 바로 가기를 추가한 Windows 11 인사이더 빌드 1 소프트웨어 QM락형 262 10:09
1	미 해군, 전 함대에 SpaceX의 스타링크 도입 검토 2 업계동향 QM건빵 367 09:55
2	터치스크린 무선 이어폰 JBL Tour Pro 3 발표 2 음향기기 QM브로리 297 09:51
2	두 번째로 뉴럴링크 뇌 칩을 이식받은 사람, Counter-Strike 2 플레이에 사용 4 기타/주변기기 QM건빵 560 09:50
2	AMD, B840 및 B850 마더보드 출시 2025년 초로 연기 - 9월에는 X870 및 X870E만 출시 7 CPU/MB/RAM QM달려 743 09:07
1	Ryzen 9 9950X는 Intel 최적화 Linux 배포판에서 16% 더 빠르게 실행 3 CPU/MB/RAM QM달려 647 09:05
0	AMD, Intel 칩과 Ryzen 9000 벤치마크 비교 업데이트: 윈11 관리자 부스트, 칩셋 드라이버 수정 3 CPU/MB/RAM QM달려 893 09:03
3	ASUS, Gamescom 2024에서 최첨단 Wi-Fi 7 장치 공개 7 네트워크 QM달려 353 08:56
0	ATP, 125°C 작동 온도 범위를 갖춘 N751Pi PCIe Gen4 NVMe M.2 2280 SSD 공개 1 저장장치 QM달려 190 08:53
0	MSI, 새로운 MS-CF10 Mini-ITX 마더보드 출시 1 CPU/MB/RAM QM달려 332 08:50
0	"모든 IoT 로봇청소기 해킹 위험"…보안 강화 필요성 대두 2 기타/주변기기 빌보 324 08:39
1	Starforge Systems, 한정판 'Frieren: Beyond Journey's End' 컬렉션 출시 1 기타/주변기기 QM오즈 265 06:54
6	"전기車 연기날 경우 반드시 자리 피해라" 9 업계동향 지수테이블 892 05:50
1	美 스타링크 vs 中 스타링크… 통신위성 전쟁 불 붙었다 2 네트워크 지수테이블 571 05:30
4	“늘어나고, 더 밝아지고”…삼성·LG, IMID서 차세대 디스플레이 기술 공개 3 디스플레이 빌보 700 08-21
31	한국 DIY 시장에서 인텔 CPU 시장 점유율 급감, AMD 라이젠 CPU가 그 공백을 메우다 44 CPU/MB/RAM Wormhole 4.5k 08-21
24	ASUS, 실수로 AMD 800 시리즈 메인보드 마이크로사이트에 Ryzen 9000X3D 시리즈 나열 30 CPU/MB/RAM Wormhole 6.7k 08-21
6	SK하이닉스, 현세대 대비 30배 성능 향상시킨 차세대 HBM 메모리 표준 개발 제안 6 업계동향 QM제크 2.5k 08-21
12	레이저, 새로운 Kraken V4 및 Kraken V4 X 게이밍 헤드셋 출시 17 음향기기 Wormhole 2k 08-21
29	[루머] 인텔 15세대 애로우레이크 코어 울트라 200 CPU 및 Z890 메인보드 10월 17일 출시 35 CPU/MB/RAM Wormhole 4.7k 08-21
12	비콰이어트, 게임스컴 2024에서 Pure Base 501 메인스트림 케이스 시리즈 공개 16 케이스 Wormhole 1.1k 08-21
19	MSI, 블리자드와 협력한 한정판 RTX 4070 SUPER GAMING SLIM 그래픽카드 출시 29 그래픽카드 Wormhole 3.2k 08-21
12	인텔 Z890 메인보드, 10월 17일 시장 출시 18 CPU/MB/RAM QM포시포시 2k 08-21
38	인텔 코어 울트라 9 285K 애로우 레이크 긱벤치 유출, 14900KS 및 9950X 보다 더 빠름 56 CPU/MB/RAM Wormhole 5.8k 08-21
6	실버스톤, NovaPeak ARGB 시리즈 AIO CPU 쿨러 출시 8 쿨링솔루션 Wormhole 500 08-21
6	B&W, 새로운 Pi6 및 Pi8 TWS ANC 이어폰 출시: 더 나은 사운드와 착용감 제공 5 음향기기 심심해❤️ 589 08-21
6	ASUS, RX 7900 XTX "Warhammer 40,000: Space Marine 2 Edition" GPU 20대만 출시 10 그래픽카드 QM제크 909 08-21