AI시대의 여러분은 어떠신가요

자유게시판 - 하드웨어/게임 관련 질문은 질문/토론 게시판을 이용해 주세요 :D

공지 퀘이사존, 게시판 즐겨찾기 기능 업데이트 안내(안드로이드, iOS)

QM지름

2.7k

04-30
공지 퀘이사존 전체 게시판 공통 규정(23.10.31)

퀘이사존

35.8k

11-01

5 AI시대의 여러분은 어떠신가요 HBM5존버 2 4330 2024.07.12 01:02

우리의 삶을 가장 강력하게 바꿀 기술은 AI이고 우리는 현재 그 폭풍속에 살고 있다고 해도 과언이 아닙니다.여러분들은 지금 그리고 앞으로의 AI 시대를 살아갈 준비가 되셨나요? 솔직히 현재 AI 특히 GPT나 Claude정도의 수준은 우리가 생각하는 작업을 "눈치껏 척척 해주는" 것과는 거리가 있습니다. 안정적으로 수행할 수 있는 기능이 그리 많거나 그 수준이 높아보이지도 않죠. 하지만 분명 gpt3.5에서 4로 넘어올 때 특이점이 발생했습니다. gpt 특유의 내가 부탁한 말& 자신이 알고 있는 지식 정리 수준에서 벗어나 직접 생각하는 것처럼 보이는 수준으로 발전했죠. 중요한 것은"현재 어떤 수준에 도달해 있냐?"보단 발전하는 속도, 그 기울기입니다.이쪽에 유래없는 수준으로 자원이 집중되고 있습니다. 마치 세계대전에서 무기에 투입되는 돈을 보는 것 같네요. 발전은 매우매우 빠를 것 같아 보입니다. 그런데 우리가 아는 하드웨어 딴에서  한 번 접근해봅시다 업계를 거의 독점하고 선도하다시피 하는  엔비디아의 하드웨어 수준은 이 ai의 하드웨어 차원에서의 발전을 가늠하기 매우 좋은 지표일 것입니다.3000번대에서 4000번대로 갈 때 쿠다코어의 비율로 욕을 많이 먹었던걸로 기억합니다. 크게 줄었죠. 그런데 성능은 분명 3천번대보다 좋았습니다. 전성비도 엄청 좋아졌죠. 그래픽카드를 사는 입장에서는 기분이 나쁘지만, 이정도 쿠다 비율로 이정도 성능을..? 뭔가 엄청난걸 만들어낸건 분명했습니다.풀칩 기준으로 3090 ->4090은 정말 성능향상폭이 좋았죠.공정미세화와 훌륭한 아키텍쳐의 콜라보였습니다. 마찬가지로 3천번대에 대응되는 A100과 4천번대에 대응될 수 있는 H100의 차이도 엄청났습니다. H100은 한동안 꿈의 칩으로 불리며 어마어마한 가격에 팔리고 엔비디아의 주가 부양의 주역이었습니다.그런데 올해 GTC의 B100을 보고 고개가 갸우뚱 했습니다. 지난번과 다르게  B100과 B200, GB200nvl72 (GPU + 자사의 CPU 통합 솔루션) 등의 다양한 솔루션을 비교적 짧은 시간 내에 내놓은 것입니다. 발표당시 괴물칩이니, 수배에서 수십배까지의 성능의 향상이니 하는 노이즈를 빼고 칩을 기준으로 계산해봤더니 A100 ->H100 : 2배이상 향상H100->B100 : 25% 향상이라는 결과가 나온 것입니다.공정미세화와 아키텍쳐의 최적화의 한계효용이 온 것이죠.알고보니 GTC2024는"엔비디아는 칩의 성능향상 둔화라는 문제의 답을 칩 뿐만이 아닌 다른 곳에서  찾았다"는 발표였습니다.0. 칩 2개 이어붙였다. 1. CPU를 인텔 대신 자사의 grace cpu를 쓰면 더 빠르고 비용,전력,공간 효율적이다2. 램을 더 좋은걸 썼다.(HBM2E/3 -> HBM3/3E)3. PCIE5.0 지원 늘렸다. SSD 더 빠른걸로 지원한다4. 칩간의 통신을 매우 강화해서 병목 줄였다.5. 네트워크 빠르게 개선했다.6. 공랭 -> 수랭으로 바꿔서 같은 공간 안에 훨씬 많은 칩을 넣을 수 있다이런 식입니다.  우리가 컴퓨터를 업그레이드할 때와 대략 비슷한 부분이 곳곳에서 보이죠. 블랙웰의 칩 성능향상은 기대보다 낮지만솔루션으로 묶어보면 여전히 성능향상은 엄청나긴 합니다. 그리고 다음 솔루션이 궁금해집니다.중요한건 이제 도대체 뭐가 남았을까? 라는 질문입니다. 저는 중,단기적으로 하드웨어딴에서만큼은 지금과 같은 속도로 엔비디아의 칩이 발전하지 못한다고 생각합니다.제 닉네임이 HBM5존버이긴 하지만 칩의 중요한 요소인 램 딴에서 이야기해보자면 HBM4가 성공하고 양산돼서 제품에 들어가기까지는 업계에서 더 많은 돈을 투하하고, 더 많은 실패가 필요합니다. PCIE 6.0 도, 인터넷도, 칩 패키징도, 공정미세화의 어려움 등등이칩이 지금까지와 같은 속도로 발전하기는 어려울 것임을 나타냅니다.현재 AI 칩은 가장 높은 부가가치를 내는 물건이고그렇기에 가장 좋은 솔루션들을 몽땅 적용한 상태이기 때문이죠. 현재 H100,200과 같은 최상위 솔루션은 구글이나 메타, 오픈AI와 같은 글로벌 탑티어 기업들의 몫입니다. 네이버와 KT의 경우에는 A100을 사용하고 있고, 국내에서도 H100을 쓰는 업체는 많지 않죠. 만단위의 H100을 사용하는 업체는 국내에 없는 것으로 알고 있습니다.즉 최상위 칩들이 발표되고 각 기업에 들어가는 속도는 꽤나 느립니다. A100 에서 H100으로 올라가는 과정과 이를 각각 GPT3.5 GPT 4에 적용시켜본다면..B200의 시대에서의 GPT는 "정말 꽤 쓸만한 수준"일 겁니다.다만 B200이 기업들에게 도착하고 학습을 시작할 때까지는 꽤 걸리겠죠 GPT4나 CLAUDE3.5는 H100학습에 기반합니다. 프로그램은 수백 GB에 달하고, 이를 실행하려면 많은 램이 필요하죠그런데 이들의 수준을 생각해본다면 맨 위에서 말했다시피  안정적으로 수행할 수 있는 기능이 그리 많거나 그 수준이 높아 보이지도 않습니다.다시 말해 지금의 온디바이스니  AI칩이라고 마케팅하는 칩들에서의 활용은 극도로 제한적일 것이고 범용적이지 못함을 뜻하죠. 하이퍼스케일러들의 차원에서,꽤 쓸만한 B200을 기반으로 한 GPT나 CLAUDE도 꽤 남았습니다. KT나 네이버같은 꽤 큰 기업의 차원에서 보안때문에 기업딴에서 자체 LLM을 만든다 쳐도, 그것이 쓸만해질 때까지는 한참입니다. 과연 B200은 언제 네이버의 서버에 도착할까요? 지금 이순간, AI는 우리가 생각하는 "쓸만함"과는 거리가 있습니다. 앞으로 3~4년, 정말 쓸만한 AI들이 구글,MS와 같은 하이퍼스케일러들로부터 차례로 등장할 것이고, 점차 개별 기업, 모세혈관인 온디바이스로 내려 올 것입니다(물론 결은 약간 다르지만요). 하지만 이 속도는 오히려 우리에게 노동 시장에서 경쟁력을 확보하기에 충분한 시간일 수 있습니다. 기회를 잡을 때입니다

자유게시판 - 하드웨어/게임 관련 질문은 질문/토론 게시판을 이용해 주세요 :D

공지 퀘이사존, 게시판 즐겨찾기 기능 업데이트 안내(안드로이드, iOS)

QM지름

2.7k

04-30
공지 퀘이사존 전체 게시판 공통 규정(23.10.31)

퀘이사존

35.8k

11-01

전체 잡담 질문 정보 축하 고민/상담 인사

추천	분류	제목	닉네임	조회수	날짜
1	잡담	로그 알리 x도 탐나고... 하고싶은 일도 생겼네요... 3	흡연매물없는세상	172	08-05
1	잡담	2018년 비해 체감 여름 더 살기 괴로울 수 있다고 3	독수리타법	203	08-05
0	잡담	월요일이네요^^	user_978387	46	08-05
0	잡담	요즘은vpn딜이 잘 안나오나보네요	미스테리여름별	153	08-05
5	잡담	컴퓨터할때 중요한 아이템은? 9	아리가뗘	366	08-05
3	잡담	주식하는 분들이 오늘 배우는 일본어 7	라파	573	08-05
1	잡담	세컨컴 데스크탑 VS 노트북 고민중입니다. 3	익명처리	134	08-05
1	잡담	오늘 주식코인이야기가많넹 3	아리가뗘	238	08-05
1	잡담	다들 파이팅 1	타산님	66	08-05
3	잡담	남미 아마존 기후가 동식물 생육에 최적이라는데 4	독수리타법	322	08-05
1	잡담	마우스 바꿨는데 손목에 무리 가네요 2	누군간조립해	207	08-05
5	정보	올림픽에서도 나오는 중국 관객 수준 7	틈새라면	844	08-05
0	잡담	쿠팡 멤버십 바로 가입되버리네요.. 5	해바라기127	381	08-05
2	잡담	피씨디렉트 AS 정말 최악이네요. 11	아무거나물어본다	788	08-05
1	잡담	비가미친듯이오네요 ㅠㅠ 3	아리가뗘	192	08-05
1	잡담	창문형 에어컨 파세코 as는 좋네요 7	rawbeef	255	08-05
5	잡담	퀘존 형님들 정말 친절하네요 3	퀘존뉴우비	219	08-05
46	잡담	선생님이 허벅지 만져" 여중생들 짜고 거짓말…교사 억울한 죽음 55	무법자2	6.8k	08-05
5	잡담	"서울" 날씨 빡세네요. 7	파인애풀	384	08-05
0	질문	냉방병 쉽지않네요 4	여름보단겨울	224	08-05
0	질문	당뇨에 좋은 운동 뭐가 있을까요 17	user_978843	318	08-05
2	잡담	코로나가 재유행이군요~ 병원 다녀왔습니다. 3	영감탱	258	08-05
1	잡담	티메프 망했는데 인터파크는 어떤가요? 14	user_904409	501	08-05
3	잡담	에어컨 사설 청소 5	푸른햇살	231	08-05
6	잡담	헬게이트 OPEN 10	FIFTY50	1.4k	08-05
0	질문	진지하게 질문합니다 17	자고인성	309	08-05
0	잡담	장비는 계속 뽐뿌가 오네요 ㅋㅋ 10	user_979598	253	08-05
0	잡담	세차 주기 5	user_982093	144	08-05
1	잡담	몸 속에 에어컨 2	user_976629	236	08-05
10	잡담	주식하는 분들 흔들리지 말고 들어요 7	감자좋아해용	1.6k	08-05