하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

훈련에 10억 달러가 드는 AI 모델 개발 중, 1,000억 달러 규모의 모델도 출시 예정

블랙웰

7 717 6 2024.07.08 07:25

<img src="https://img2.quasarzone.com/editor/2024/07/08/664bd52b7bfcee9cd57ef06744f2a741.png" alt="퀘이사존"> AI 교육 비용은 해마다 기하급수적으로 증가하고 있습니다.
 Anthropic의 CEO Dario Amodei는 In Good Company 팟캐스트에서 현재 개발 중인 AI 모델을 학습시키는 데 최대 10억 달러가 소요될 수 있다고 말했습니다. 현재 ChatGPT-4o와 같은 모델은 약 1억 달러에 불과하지만, 그는 이러한 모델을 훈련하는 데 드는 비용이 3년 안에 100억 달러 또는 1000억 달러까지 올라갈 것으로 예상합니다. "지금은 1억 달러입니다. 현재 훈련 중인 모델 중에는 10억 달러에 가까운 모델도 있습니다." 아모데이는 또한 "2025년, 2026년, 어쩌면 2027년에 100억 또는 1000억 달러가 되고 알고리즘 개선이 계속되고 칩 개선이 계속된다면 그때쯤이면 대부분의 일에서 대부분의 인간보다 더 나은 모델을 얻을 수 있을 것으로 생각합니다."라고 덧붙였습니다. 앤서픽의 CEO는 ChatGPT와 같은 생성 인공지능에서 인공 일반 인공지능(AGI)으로 발전하는 AI에 대해 논의하면서 이러한 수치를 언급했습니다. 그는 어느 날 갑자기 AGI에 도달하는 시점은 없을 것이라고 말했습니다. 대신, 인간이 학습하는 방식처럼 과거 모델의 발전을 기반으로 모델이 점진적으로 발전하는 방식이 될 것입니다. 따라서 AI 모델이 매년 10배씩 더 강력해진다면, 이를 학습시키는 데 필요한 하드웨어도 최소 10배 이상 강력해질 것으로 합리적으로 예상할 수 있습니다. 따라서 하드웨어는 AI 학습에서 가장 큰 비용 요인이 될 수 있습니다. 2023년에 ChatGPT에는 30,000개 이상의 GPU가 필요할 것이라는 보도가 있었으며, 샘 알트먼은 ChatGPT-4의 훈련 비용이 1억 달러에 달한다고 밝힌 바 있습니다. 작년에는 380만 개 이상의 GPU가 데이터센터에 공급되었습니다. 엔비디아의 최신 B200 AI 칩의 가격이 약 3만~4만 달러인 것을 감안하면, 2024년에 10억 달러라는 Dario의 추정치는 순조롭게 진행될 것으로 예상할 수 있습니다. 모델/정량화 연구의 발전이 현재의 기하급수적인 속도로 증가한다면, Sohu AI 칩과 같은 보다 효율적인 기술이 널리 보급되지 않는 한 하드웨어 요구 사항도 이에 보조를 맞출 것으로 예상됩니다. 이미 이러한 기하급수적인 성장이 일어나고 있는 것을 볼 수 있습니다. 엘론 머스크는 30만 개의 B200 AI 칩을 구매할 계획이며, OpenAI와 Microsoft는 1,000억 달러 규모의 AI 데이터 센터를 계획하고 있는 것으로 알려졌습니다. 이러한 모든 수요를 고려할 때, Nvidia와 다른 공급업체가 시장을 따라잡을 수 있다면 내년 GPU 데이터센터 공급량은 3,800만 개로 급증할 수 있습니다. 그러나 이러한 AI 기업들은 실제 칩 하드웨어의 공급 외에도 전력 공급 및 관련 인프라에도 신경을 써야 합니다. 작년에 판매된 모든 데이터센터 GPU의 총 예상 전력 소비량은 130만 가구에 전력을 공급할 수 있는 양입니다. 데이터센터 전력 요구량이 계속해서 기하급수적으로 증가한다면 경제적인 가격의 전기가 부족해질 수 있습니다. 또한 이러한 데이터 센터에는 발전소도 필요하지만, 전력 소모가 많은 AI 칩이 작동하는 데 필요한 모든 전자를 처리할 수 있는 완전히 업그레이드된 그리드도 필요합니다. 이러한 이유로 Microsoft를 비롯한 많은 기술 기업이 데이터센터에 모듈형 원자력 발전을 고려하고 있습니다. 인공 지능은 빠르게 발전하고 있으며 하드웨어 혁신도 이에 발맞추고 있는 것으로 보입니다. 따라서 Nvidia, AMD, Intel과 같은 제조업체가 이를 실현할 수 있다면 Anthropic의 1,000억 달러 추정치는 순조롭게 진행되고 있는 것으로 보입니다. 그러나 AI 기술이 새로운 세대를 맞이할 때마다 기하급수적으로 성능이 향상되고 있지만, 여전히 한 가지 큰 질문이 남아 있습니다. 바로 우리 사회의 미래에 어떤 영향을 미칠까요?

블랙웰

행성: 은하

포인트: 615,126 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 7개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

20.5k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
4	Intel Arrow Lake-S, Arrow Lake-HX 24코어 및 Arrow Lake-H 16코어 CPU가 훨씬 더 높은 기본 클럭으로 발견 6 CPU/MB/RAM QM지름 1.8k 06-24
1	라이젠 AI PRO 300 'Strix Point' APU: 12코어 라이젠 AI 9 HX 및 라이젠 AI 7 SKU 발견 2 CPU/MB/RAM QM달려 676 06-24
5	공식 Windows 11 가이드에서 Microsoft 계정에서 로컬 계정으로의 전환 가이드 삭제 15 소프트웨어 블랙웰 4.2k 06-24
1	연구원들은 둘 이상의 의미를 가진 단어에서 발생하는 AI 환각 버그를 없애기를 희망합니다 2 소프트웨어 블랙웰 686 06-24
2	엔비디아, 제재에도 불구하고 중동 국가에 첨단 AI 프로세서 판매 4 업계동향 블랙웰 1.2k 06-24
3	"1분에 7대 이상 팔린다"...삼성 AI 에어컨 날개 5 기타/주변기기 블랙웰 2.4k 06-24
1	독일 설득 안 통했다…중국, EU 전기차 관세 보복 경고 2 업계동향 블랙웰 894 06-24
4	“한국 IT 10만 양병, 우리가”…미국기업이 나섰다는데, 왜? 10 업계동향 빌보 1.9k 06-23
29	ASUS, RTX 4070(SUPER) DUAL EVO 화이트 시리즈 그래픽카드 출시 45 그래픽카드 Wormhole 4.5k 06-23
23	디스플레이 드라이버 제거 프로그램(DDU) 다운로드 버전 18.0.7.7 33 소프트웨어 QM지름 4.5k 06-23
9	주요 커패시터 혁신으로 170배 더 높은 전력 밀도를 갖춘 마이크로 전자공학 개발 가능 9 업계동향 QM지름 2.1k 06-23
11	Snapdragon X Elite가 탑재된 Surface Laptop 7의 대기 시간은 놀라울 정도로 길고, 노트북은 몇 시간 동안 덮개를 닫은 상태에서 단일 배... 22 노트북 QM지름 3k 06-23
35	더 빠른 메모리를 위한 새로운 시도, DDR5 CUDIMM 본격 등장 38 CPU/MB/RAM QM포시포시 5.4k 06-23
33	차세대 그래픽카드는 언제 출시되나요? 지금 구매해야 할까요, 아니면 기다려야 할까요? 52 그래픽카드 QM지름 9.9k 06-23
7	스타트업, AMD MI300X AI 가속기 성능 벤치마크 요청...AMD는 거부 14 그래픽카드 QM포시포시 2.9k 06-23
16	엔비디아의 차세대 DLSS는 AI를 활용하여 게임 내 텍스처, 캐릭터, 오브젝트를 처음부터 생성할 수 있게 될 것 23 소프트웨어 QM지름 5.5k 06-23
2	AMD Strix Halo ‘FP11’APU 레퍼런스 플랫폼이 막대한 128GB 메모리 구성으로 발견 5 CPU/MB/RAM QM지름 1.9k 06-23
1	美 재무부, 中 AI·반도체 첨단기술 투자 제한규칙 공개 2 업계동향 빌보 488 06-23
34	기가바이트, 숨겨진 전원 커넥터 탑재 RTX 4070Ti SUPER WINDFORCE MAX 출시 49 그래픽카드 Wormhole 5.4k 06-23
24	펌웨어 결함이 여러 세대의 인텔 CPU에 영향을 미침 23 소프트웨어 Wormhole 10.7k 06-23
10	ASUS, RTX 3090 Ti 쿨러 탑재 RTX 4070 Ti SUPER TUF OG 시리즈 출시 16 그래픽카드 Wormhole 3.1k 06-23
26	아니요, 인텔의 루나 레이크 CPU는 연기되지 않습니다. 38 CPU/MB/RAM user_854318 6.9k 06-23
3	AI 춘추전국 시대, 아마존 “알렉사 서비스 돈 내야 쓴다” 9 업계동향 빌보 1.4k 06-22
43	“삭제하면 그만” 안 통한다… 다음카페 ‘초강수’ 43 기타/주변기기 빌보 10.4k 06-22
53	전 EVGA 오버클러커 킹핀, 향상된 OC 기능 및 차세대 GPU 개발을 위해 PNY와 파트너십 체결 59 그래픽카드 Wormhole 8.1k 06-22
10	[루머] AMD Ryzen AI 9 365 APU 테스트: Zen 5 IPC, 레이턴시 등 다양한 성능 측정 24 CPU/MB/RAM Wormhole 5.2k 06-22
8	MS와 엔비디아가 자체 서버실에서 MS의 B200 AI GPU를 사용하는 것을 놓고 대립한 것으로 알려짐 10 업계동향 Wormhole 4.4k 06-22
13	기가바이트, AMD Radeon PRO W7000 시리즈 워크스테이션 그래픽카드 출시 19 그래픽카드 Wormhole 2.6k 06-22
17	중국 세관, 최대 규모의 CPU 밀수 시도 중 하나인 120만 달러 상당의 인텔 제온 칩 596개 적발 17 업계동향 Wormhole 6.7k 06-22
11	ASUS, Z790-AYW OC WIFI 메인보드 출시 13 CPU/MB/RAM Wormhole 1.3k 06-22