하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

구글, 새로운 AI 학습 기술이 13배 더 빠르고 10배 더 전력 효율이 높다고 주장

블랙웰

4 796 1 2024.07.08 07:20

<img src="https://img2.quasarzone.com/editor/2024/07/08/4365c3c97c7ce5480fa4e39a15be5757.png" alt="퀘이사존"> AI 과잉 수요를 우려하는 전력망에 잠재적으로 희소식이 될 수 있습니다.
 구글의 AI 연구소인 구글 딥마인드는 AI 모델 훈련 속도와 에너지 효율을 크게 향상시켜 다른 방법보다 13배 더 높은 성능과 10배 더 높은 전력 효율을 달성할 수 있다고 주장하는 새로운 연구 결과를 발표했습니다. AI 데이터센터의 환경적 영향에 대한 논의가 뜨거워지고 있는 가운데 새로운 JEST 훈련 방법은 시의적절하게 발표되었습니다. JEST 또는 공동 예제 선택이라고 불리는 딥마인드의 방식은 기존의 AI 모델 훈련 기법에서 단순한 방식으로 탈피합니다. 일반적인 훈련 방법은 훈련과 학습을 위해 개별 데이터 포인트에 초점을 맞추는 반면, JEST는 전체 배치를 기반으로 훈련합니다. JEST 방식은 먼저 매우 높은 품질의 소스에서 데이터 품질을 평가하여 품질별로 배치의 순위를 매기는 더 작은 AI 모델을 생성합니다. 그런 다음 이 등급을 더 큰 규모의 품질이 낮은 세트와 비교합니다. 작은 JEST 모델은 훈련에 가장 적합한 배치를 결정하고, 그런 다음 작은 모델의 결과를 바탕으로 큰 모델을 훈련합니다.  <img src="https://img2.quasarzone.com/editor/2024/07/08/a24ea007522261a46537b3d02b02fa0e.png" alt="퀘이사존"> 위의 그래프는 JEST 방법이 속도와 FLOPS 효율성 면에서 SigLIP(이미지-캡션 쌍에 대한 모델 학습을 위한 최첨단 방법)을 비롯한 다른 여러 방법과 비교했을 때 어떻게 앞서는지 보여줍니다. (이미지 출처: Google DeepMind, Evans 외)

 여기에서 확인할 수 있는 논문에서는 연구에 사용된 프로세스와 향후 연구에 대한 자세한 설명을 확인할 수 있습니다. 딥마인드 연구원들은 논문에서 "잘 선별된 소규모 데이터 세트의 배포를 위해 데이터 선택 프로세스를 조정하는 능력"이 JEST 방법의 성공에 필수적이라는 점을 분명히 밝히고 있습니다. "우리의 접근 방식은 최대 13배 적은 반복 횟수와 10배 적은 계산으로 최첨단 모델을 능가한다"는 것이 딥마인드의 주장입니다.  물론 부트스트랩 기법은 사람이 직접 선별한 최고 품질의 데이터 세트가 없으면 실패하기 때문에 이 시스템은 학습 데이터의 품질에 전적으로 의존합니다. 학습 과정에서 "건너뛰기"를 시도하는 이 방법보다 "쓰레기 투입, 쓰레기 배출"이라는 말이 더 잘 어울리는 곳은 없습니다. 따라서 초기 최고 수준의 훈련 데이터를 선별하는 데 전문가 수준의 연구 기술이 필요할 가능성이 높기 때문에 취미로 하는 사람이나 아마추어 AI 개발자가 다른 방법보다 JEST 방법을 따라하기는 훨씬 더 어렵습니다.  기술 업계와 세계 각국 정부가 인공지능의 엄청난 전력 수요에 대한 논의를 시작하고 있는 지금, JEST 연구는 시기상조입니다. 2023년 AI 워크로드는 키프로스 국가의 연간 전력 소비량과 거의 일치하는 약 4.3GW를 차지할 것으로 예상됩니다. 그리고 상황은 결코 느려지지 않고 있습니다. 한 번의 ChatGPT 요청에 Google 검색보다 10배 더 많은 전력이 소모되며, Arm의 CEO는 2030년까지 AI가 미국 전력망의 1/4을 차지할 것으로 예상하고 있습니다. AI 분야의 주요 업체들이 JEST 방식을 채택할지 여부와 방법은 아직 미지수입니다. GPT-4o는 훈련하는 데 1억 달러의 비용이 드는 것으로 알려졌으며, 향후 더 큰 모델은 곧 10억 달러에 달할 수 있으므로 기업들은 이 부문에서 지갑을 절약할 방법을 찾고 있을 것입니다. 희망적인 사람들은 JEST 방법을 사용하면 현재의 학습 생산성을 훨씬 낮은 전력 소모량으로 유지하여 AI 비용을 절감하고 지구를 도울 수 있을 것이라고 생각합니다. 그러나 자본의 기계가 초고속 훈련 결과를 위해 전력 소비를 최대로 유지하기 위해 JEST 방법을 사용하여 가속 페달을 계속 밟을 가능성이 훨씬 더 높습니다. 비용 절감과 출력 규모, 누가 승리할까요?

블랙웰

행성: 은하

포인트: 613,582 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 4개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

20.5k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
7	미국의 제재로 중국 내 엔비디아의 AI 칩 판매는 감소했지만, 게이밍 GPU 출하량은 증가 10 그래픽카드 Wormhole 1.6k 05-25
8	미국의 중국 제품에 대한 관세 부과로 하드웨어 가격이 최대 25% 인상될 것으로 예상됨 12 업계동향 Wormhole 1.7k 05-25
10	엔비디아, 618 쇼핑 페스티벌을 앞두고 중국에 RTX GPU 공급량 추가 할당 13 그래픽카드 Wormhole 2.7k 05-24
43	GUNNIR, Arc A770/750 Photon "엘든 링" 스페셜 에디션 그래픽카드 출시 58 그래픽카드 Wormhole 4.6k 05-24
19	쿠거, FV270 케이스 179달러에 공식 출시 33 케이스 Wormhole 2.7k 05-24
4	삼성전자, 새로운 4TB USB 3.2 Gen.2 모델로 T7 휴대용 SSD 라인 확장 7 저장장치 Wormhole 1.9k 05-24
4	MSI, RAPID VA 기술이 적용된 MAG 27CQ6PF 27인치 WQHD 커브드 게이밍 모니터 출시 4 디스플레이 Wormhole 506 05-24
1	쿨러마스터, CryoFuze 5 'AI 서멀 페이스트' 발표는 번역 오류였다고 해명 3 기타/주변기기 Wormhole 601 05-24
3	AMD, 'STRIX-Point(스트릭스 포인트) APU'의 명칭을 'RYZEN-AI 300'으로 변경을 거침 9 CPU/MB/RAM 블레이더영혼 2.4k 05-24
27	지스킬, Trident Z5 Royal 시리즈 DDR5 메모리 공식 출시 39 CPU/MB/RAM Wormhole 3.1k 05-24
16	삼성, 새로운 퀀텀닷 마이크로 LED MLA 기술 개발 15 디스플레이 심심해❤️ 2.9k 05-24
17	삼성, 게이밍 모니터용 QD-OLED 패널 100만대 이상 판매 성공 27 디스플레이 심심해❤️ 3.5k 05-24
20	Intel, 차세대 프로세서 Lunar Lake의 세부 정보 발표: 플랫폼 컴퓨팅 성능이 100TOPS를 초과 34 CPU/MB/RAM QM지름 7.4k 05-24
89	RTX 5090 'Blackwell' 파운더스 에디션, 취소된 RTX 4090 Ti 벽돌 디자인 구현 155 그래픽카드 QM지름 25.9k 05-24
13	ID-Cooling, FX360 PRO 360mm 일체형 수냉 쿨러 60달러에 출시 20 쿨링솔루션 Wormhole 941 05-24
1	하이센스, 새로운 QLED TV A5NQ , E7NQ, A7NQ 및 E7NQ Pro 출시 2 디스플레이 심심해❤️ 585 05-24
9	VMware 가격 인상으로 24,000대의 가상 머신을 보유한 호주 기업 출하 이전 결정 15 업계동향 user_투코 5.5k 05-24
3	Minisforum AtomMan G7 PT 게이밍 PC 출시, 라이젠 9와 RX 7600M XT로 유연하게 변신하다 4 기타/주변기기 심심해❤️ 962 05-24
28	삼성 HBM 칩이 열 및 전력 소비 문제로 인해 NVIDIA 테스트에 실패 50 CPU/MB/RAM QM포시포시 6.1k 05-24
4	삼성, 외신보도 반박 “엔비디아 HBM 테스트 순조롭게 진행” 16 업계동향 빌보 2.1k 05-24
4	Windows 11 24H2가 릴리즈 미리보기 채널에 진입하여 HDR 배경, Sudo, 7z 등을 추가 4 소프트웨어 QM바나 1.4k 05-24
3	구글, 아프리카에서 호주까지 이어지는 대규모 광섬유 케이블 네트워크 구축 중 3 네트워크 QM건빵 735 05-24
1	필립스 PML9009 / 필립스 PML9019 대 필립스 PML9049 / 필립스 PML9059 1 디스플레이 QM안나 398 05-24
1	Asus ROG Strix XG27UCG가 세계 최초의 듀얼 모드 LCD 모니터로 출시되었습니다. 2 디스플레이 QM안나 1.1k 05-24
26	AMD, 2027년까지 전력 효율 100배 향상을 목표로 하고 있다고 말하는 리사 수 CEO 36 업계동향 QM지름 6.6k 05-24
4	온쿄, TX-SR3100 앰프 출시: 가장 저렴한 돌비 비전/애트모스 3.2.2 DTS:X 및 HDMI 2.1 앰프 4 음향기기 심심해❤️ 767 05-24
3	Lenovo, 2023/24 회계연도 수익 보고서 발표 4 업계동향 QM달려 533 05-24
1	TerraMaster, Intel 쿼드 코어 프로세서로 구동되는 최고 성능의 2베이 NAS F2-424 공개 2 네트워크 QM달려 1.1k 05-24
5	Thrustmaster, 비행 시뮬레이션 조이스틱을 위한 새로운 AVA 모듈 베이스 공개 7 기타/주변기기 QM달려 649 05-24
3	LG전자-메타, 내년 출시하려던 XR 기기 프로젝트 ‘무산’…2027년으로 연기 4 업계동향 큰돌 620 05-24