일반 사용자용으로 Ai쓸거면 NPU 쓰자는 말이 있던데

RTX 50 시리즈 vs. RX 9000 시리즈

공지 40년치 ATI-AMD 하이엔드 GPU 컬렉션

FP32

4.1k

06-30
공지 포르자 호라이즌 6, 44종 그래픽카드 벤치마크

QUASARZONE

3.4k

05-22
공지 퀘이사존 규정(25.08.04)

퀘이사존

54k

11-08

1 일반 사용자용으로 Ai쓸거면 NPU 쓰자는 말이 있던데 user_700604 4 4341 2025.03.02 22:02

그럼 CPU+GPU사고 거기에 NPU를 또 사라고요..? NPU라는게 효율이 좋아보이는건 'Ai 터미널중'에서도'특정' 프로그램에 최적화시켜놓은거라 범용성이 쓰레기 수준입니다. 범용성 챙기는 순간 GPU 연산하고 차이없고. 그래서 일반 소비자는 dGPU없이 iGPU쓰는 노트북들이나 NPU를 딱 최저 사양만 만족하게 제작해서 달아놓는건데 그걸 GPU 대용으로 쓰자는건 일반 소비자한테는 손해입니다. 이중지출이에요. 당장 유명한 Deepseek R1 70B사이즈 LLM 로컬 구동시키려고 하면 4090으로도 못돌려요 VRAM 모자라서.24GB로도 22~32B 짜리를 Q8 양자화 구동 아슬아슬한데 이러면 Max context양이 줄어듭니다. 토크나이저 개선으로 챙길수있는 수준이 아닙니다.가득이나 한입 한출은 한글 특문으로 인식되서 토큰 2배로 먹는데 그럼 저거 최적화 위해서는 번역용 LLM을 하나더 구동 해야합니다..  한영 번역 ->영입 영출 -> 영한 번역 출력해야하니 그렇다고 이게 NPU를 사용하면 해결되느냐?아니죠.. 시스템 RAM 공유로 땡겨쓰는 NPU 얼마나 병목 생길지 생각하면 끔찍한거죠.그렇다고 거기에 전용 RAM을 달면 ..? 가득이나 안좋은 가성비가 곤두박질칩니다..굳이 꼭 NPU를 쓰자면 번역용 LLM을 할당하면 효율성은 좋아질수있겠죠. 토큰이 반토막될거닌깐. 16GB짜리(4080급) 돌려보면 13B Q8정도가 마지노선이던데마소의 Phi-4 모델이 Q6 양자화시 8K 입출력 10~11GB정도 사용됩니다. <현시점> 일반인 입장으로 생성형 Ai써보면 연산 속도보단 VRAM 용량하고 대역폭이 더 절실합니다.저게 안되면 돌리고 싶어도 못돌려요.GGUF 모델로 파이토치로 CPU 및 공유 메모리 할당해서 구동하면 병목으로 속도 1/10으로 깍입니다.NPU가 해결할수있는 방법이 없어요.그냥 시스템 메모리 자체의 대역폭이 VRAM을 넘어서는 수밖에 없습니다.NPU는 그 다음 문제고요. Text generation은 일반인이 저런 <중간> 사이즈 LLM은 안돌릴거니 그렇다치고 넘어가도(576B같은 대형 LLM은 쳐다도 못보죠) 사람들 관심 많이 가지는Mov2Mov, i2Mov, t2Mov같이 동영상 생성 모델은쓸만한 모델들은 '최소' VRAM 32GB 필요합니다.좀 성능이 많이 떨어지는 모델들도 12GB는 최소로 요구할 정도로 VRAM 많이 잡아먹습니다. t2i를 봐도 유명한 Flux.1Dev 모델 쓰면 최소 12gb, 권장 16gb 이상입니다... 그렇기에 당장 문제는 GPU vs NPU 효율 문제가 아닙니다.GPU가 NPU로 대체되도 결국 RAM 성능이 모자라서 문제 생기는거죠. 그럼 기업이 NPU를 사면 GPU 소모가 줄어드니 낙수 효과를 받지 않느냐? 라고 반문하실수있는데아까도 이야기 했지만 효율성을 챙기면 범용성이 쓰레기입니다.범용성을 늘리면 효율성이 감소하죠.일반인들은 쓰는 프로그램이 제한적이니 문제가 없었는데 기업이나 작업자들은 아니죠. 가불기네요. 결국 NPU 더 효율성이 앞도적으로 좋아지고추가로 VRAM없이 Ai 연산에 병목이 안생기는 수준으로 RAM이 발전하지 않는 이상은현시점 NPU는 일반 사용자 입장에서는 논외입니다. 어쩌다보니 글이 길어졌는데 결론 내보면-현시점 NPU는 찍먹용 그 이상 이하도 아님-NPU 효율이 아무리 좋아져도 RAM 대역폭 개선없이는 무의미함 결국에 대량용량 고속 RAM이 필요함.-그럴거면 일반인은 그냥 GPU사서 게임도하고 Ai도 같이 즐기겠음.

user_700604

행성: 해왕성

포인트: 3,541 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 4개

RTX 50 시리즈 vs. RX 9000 시리즈

공지 40년치 ATI-AMD 하이엔드 GPU 컬렉션

FP32

4.1k

06-30
공지 포르자 호라이즌 6, 44종 그래픽카드 벤치마크

QUASARZONE

3.4k

05-22
공지 퀘이사존 규정(25.08.04)

퀘이사존

54k

11-08

전체 질문 잡담 정보

추천	분류	제목	닉네임	조회수	날짜
0	정보	그래픽카드 5070 전투기 소리 소음 쿨러소리 심할때 해결방법	고소한두부	14	7분 전
0	질문	배그 그래픽 카드 질문 1	가붕붕이	21	21분 전
0	질문	시스템 프리징이 계속 발생합니다.	user_1149602	36	21분 전
0	잡담	오 ai의 부작용을 퀘존에서 보네요	블루쵸파	56	34분 전
1	잡담	5090. 5080 DLSS RT MFG 비교표 고민	FFNAVI	37	37분 전
0	사이다	스텔스 빌드 질문드립니다. 11	찐스트라무스	78	1시간 전
0	질문	현시점 3070 vs 5060 5	qqsazone	91	1시간 전
1	잡담	이틀 날센 마감 끝. 5080 5090 교환	FFNAVI	138	2시간 전
0	질문	그래픽카드 DP포트 밑에 있는 브라켓 나사 헛도는 데 이걸로 문제 생기나요?	user_1139462	68	2시간 전
0	잡담	5090에서 9070xt타이치 2	하료쵸	236	4시간 전
3	질문	안녕하십니까 컴잘알 형님들 컴뉴비 너무 질문있습니다 ㅠㅠ제발.. 9	user_1149564	200	4시간 전
0	질문	그래픽카드 추천받아요 5	파란색	139	4시간 전
0	정보	블라인드 처리된 글입니다.	user_1133415	137	4시간 전
0	질문	안녕하세요! 혹시 5070ti 화이트 vs 4080 스트릭스 머가좋을까요?? 4	user_1148263	174	5시간 전
1	잡담	인텔 B70 성능보다는 전성비가 더 문제네요 1	-385	148	5시간 전
0	질문	성능비교 -> 3dmark 에 글이 안써져요. 1	AL-IS	85	5시간 전
1	잡담	Wireview pro 2 풀설치 완료 해봤습니다	yaHH	113	5시간 전
1	질문	게임중 모나터가 신호없음이 되는 증상인데요 5	user_992394	88	6시간 전
3	사이다	9070xt ARGB 연결을 못했는데 괜찮나요..? 4	user_887046	229	7시간 전
2	질문	5080 컬러풀 요번 핫딜때 샀는데 불량같아요 ㅠㅠ 4	user_1028750	371	7시간 전
3	질문	PNY 4070TI 그래픽카드 문제 2	깽미	190	7시간 전
1	질문	9070xt 글카 고주파 정상인가요? 3	user_1103816	182	8시간 전
7	잡담	인용을 해도 제대로 된 분석을 인용해야지 10	류오동	702	8시간 전
8	잡담	조텍 5080 와서 설치 완료했습니다. 17	놀빛하늘	759	8시간 전
1	정보	엔비디아 지포스 (CPU 직결) vs AMD 라데온 & 인텔 ARC (CPU 브릿지 연결) 1	KKM	334	9시간 전
0	질문	윈도우 작업관리자 단축키가 안되요 2	그로밋z	95	9시간 전
3	사이다	5080 아스트랄 화이트 300주고 살만한가요? 29	user_1144580	615	10시간 전
6	잡담	(뻘글)DLSS RR을 쓰면 4K DLAA가 1080P 기반이다? 11	MouseSports	662	10시간 전
0	질문	선생님들 5080 컬러풀 괜찮은가요? 15	user_1147396	312	10시간 전
1	정보	레이리컨스트럭션에 대한 설명2 13	산티산티	533	11시간 전