리뷰 - 퀘이사존 공식 IT/하드웨어 리뷰

RTX 5090으로 로컬 AI 구성하기

직접 해보자! 나만의 AI 비서

QM바나

202 4099 170 2026.07.21 19:02

<p></p><p></p><p></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2026/07/21/10f826a734b319389e9e7ed3a77321a6.jpg" alt="퀘이사존"><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 24px; color: rgb(255, 255, 255);">RTX 5090으로 로컬 AI 구성하기</span></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    아침에 이메일 초안을 다듬게 하고, 오후에 코드 에러를 묻고, 밤에는 외국어 문서를 번역시킵니다. AI에게 무언가를 시키는 일이 어느새 검색만큼 자연스러운 일과가 됐습니다. 그런데 이 익숙한 풍경에는 당연하게 지나치는 전제가 하나 깔려 있습니다. 우리가 던진 질문이 매번 바다 건너 어딘가의 데이터센터까지 다녀온다는 사실입니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    이 왕복을 생략할 수 있다면 어떨까요. 질문이 내 방을 떠나지 않아도 되고, 회사 기밀이 담긴 문서를 마음 놓고 읽히고, 인터넷이 끊긴 곳에서도 AI가 대답하는 환경 말입니다. 몇 년 전만 해도 이런 구성은 서버 랙과 전용 장비를 갖춘 기관의 이야기였지만, 지금은 사정이 다릅니다. 게이머의 전유물이던 그래픽카드가 어느새 로컬 AI의 핵심 장비가 됐고, 그 정점에 32GB VRAM을 얹은 RTX 5090이 있습니다. 이 그래픽카드는 한 장만으로 사람이 읽는 속도의 열 배로 글을 쏟아내는 AI를 책상 위에 앉힐 수 있고, 두 장이면 한 장의 세계에 존재하지 않던 대형 모델까지 데려올 수 있습니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    이번 기사는 그 과정을 처음부터 끝까지 동행하는 안내서입니다. 등장하는 모든 속도와 전력 수치는 저희가 RTX 5090 듀얼 시스템에서 직접 측정한 값이고, 어렵게 들리는 이야기는 전부 걷어냈습니다. 검은 명령창을 한 번도 열어본 적 없는 분도 마지막 장에 도착할 즈음에는 자기 손으로 AI를 굴리고 있을 겁니다. 그럼 첫 관문인 용어부터 시작합니다.<span style="font-size: 12pt;"></span></p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><br></p><p><br></p><p></p><div style="background-color: #161616; border: 1px solid #2a2a2a; border-radius: 12px; overflow: hidden; max-width: 480px; margin: 20px auto; box-shadow: 0 10px 30px rgba(0, 0, 0, 0.45);">

<div style="height: 4px; background: linear-gradient(90deg, #ff9900 0%, #ffbb4d 60%, rgba(255, 187, 77, 0) 100%);"></div>

<div style="padding: 20px 20px 12px 20px; text-align: center;">
    <span style="color: #ff9900; font-size: 11px; font-weight: 700; letter-spacing: 3px; display: block;">CONTENTS</span>
    <span style="color: #ffffff; font-size: 21px; font-weight: 800; display: block; margin-top: 2px;">목차</span>
  </div>

<div style="padding: 4px 10px 14px 10px; font-size: 0; text-align: left; display: flex; flex-wrap: wrap;">

<a href="#p1" style="text-decoration: none; display: inline-block; vertical-align: top; box-sizing: border-box; width: 47%; max-width: 100%; flex: 1 1 42%; margin: 4px; background-color: #1f1f1f; border: 1px solid #2e2e2e; border-radius: 8px; padding: 8px 12px; text-align: left; font-size: 14px;">
      <span style="color: #ff9900; font-size: 12px; font-weight: 800; display: block; letter-spacing: 1px;">01</span>
      <span style="color: #f2f2f2; font-size: 13.5px; font-weight: 600; display: block; margin-top: 1px; word-break: keep-all; overflow-wrap: break-word;">AI 필수 언어들</span>
    </a>

<a href="#p2" style="text-decoration: none; display: inline-block; vertical-align: top; box-sizing: border-box; width: 47%; max-width: 100%; flex: 1 1 42%; margin: 4px; background-color: #1f1f1f; border: 1px solid #2e2e2e; border-radius: 8px; padding: 8px 12px; text-align: left; font-size: 14px;">
      <span style="color: #ff9900; font-size: 12px; font-weight: 800; display: block; letter-spacing: 1px;">02</span>
      <span style="color: #f2f2f2; font-size: 13.5px; font-weight: 600; display: block; margin-top: 1px; word-break: keep-all; overflow-wrap: break-word;">로컬 AI: 30분 완성 가이드</span>
    </a>

<a href="#p3" style="text-decoration: none; display: inline-block; vertical-align: top; box-sizing: border-box; width: 47%; max-width: 100%; flex: 1 1 42%; margin: 4px; background-color: #1f1f1f; border: 1px solid #2e2e2e; border-radius: 8px; padding: 8px 12px; text-align: left; font-size: 14px;">
      <span style="color: #ff9900; font-size: 12px; font-weight: 800; display: block; letter-spacing: 1px;">03</span>
      <span style="color: #f2f2f2; font-size: 13.5px; font-weight: 600; display: block; margin-top: 1px; word-break: keep-all; overflow-wrap: break-word;">테스트에 사용된 모델 도감</span>
    </a>

<a href="#p4" style="text-decoration: none; display: inline-block; vertical-align: top; box-sizing: border-box; width: 47%; max-width: 100%; flex: 1 1 42%; margin: 4px; background-color: #1f1f1f; border: 1px solid #2e2e2e; border-radius: 8px; padding: 8px 12px; text-align: left; font-size: 14px;">
      <span style="color: #ff9900; font-size: 12px; font-weight: 800; display: block; letter-spacing: 1px;">04</span>
      <span style="color: #f2f2f2; font-size: 13.5px; font-weight: 600; display: block; margin-top: 1px; word-break: keep-all; overflow-wrap: break-word;">두 장을 꽂으면 열리는 세계</span>
    </a>

<a href="#p5" style="text-decoration: none; display: inline-block; vertical-align: top; box-sizing: border-box; width: 47%; max-width: 100%; flex: 1 1 42%; margin: 4px; background-color: #1f1f1f; border: 1px solid #2e2e2e; border-radius: 8px; padding: 8px 12px; text-align: left; font-size: 14px;">
      <span style="color: #ff9900; font-size: 12px; font-weight: 800; display: block; letter-spacing: 1px;">05</span>
      <span style="color: #f2f2f2; font-size: 13.5px; font-weight: 600; display: block; margin-top: 1px; word-break: keep-all; overflow-wrap: break-word;">자주 나오는 질문들 (실측 Q&A)</span>
    </a>

<a href="#p6" style="text-decoration: none; display: inline-block; vertical-align: top; box-sizing: border-box; width: 47%; max-width: 100%; flex: 1 1 42%; margin: 4px; background-color: #1f1f1f; border: 1px solid #2e2e2e; border-radius: 8px; padding: 8px 12px; text-align: left; font-size: 14px;">
      <span style="color: #ff9900; font-size: 12px; font-weight: 800; display: block; letter-spacing: 1px;">06</span>
      <span style="color: #f2f2f2; font-size: 13.5px; font-weight: 600; display: block; margin-top: 1px; word-break: keep-all; overflow-wrap: break-word;">마치며</span>
    </a>

<!-- ▼▼▼ [항목 템플릿 — 다크] 항목을 추가할 때 아래 블록을 복사해서 쓰세요.
         href="#p7", 07, 새 항목 제목 — 이 세 곳만 수정하면 됩니다.

▲▲▲ [항목 템플릿 — 다크] 끝 -->

</div>

<div style="background-color: #1b1b1b; color: #6a6a6a; padding: 7px 20px; font-size: 12px; text-align: center; border-top: 1px solid #262626;">
    항목을 클릭하면 해당 섹션으로 이동합니다
  </div>

</div>

<p></p><p><br></p><p><a id="p1"></a></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 24px; color: rgb(255, 255, 255);">1. 로컬 AI 무작정 시작하기 전에 알아야 할 필수 언어들</span></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2026/07/21/f9de07563babab68f8480b39a504d8e2.jpg" alt="퀘이사존"></p><p style="text-align: right;"><span style="font-size: 14px; color: rgb(255, 255, 255);">※ AI로 생성한 이미지입니다.</span></p><p style="text-align: center; "><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    AI를 내 PC에 직접 설치해서 돌려보려는 사용자가 처음 맞닥뜨리는 장벽은 하드웨어 성능도 가격도 아닌 생소한 용어들입니다. 파라미터나 토큰 혹은 양자화 같은 단어들은 포털에 검색해 봐도 수학 공식 가득한 학술적 설명뿐이라 머리만 아파집니다. 이번 장은 로컬 AI 세계의 지도 역할을 할 개념 가이드입니다. 복잡한 수식은 걷어내고 한 줄 정의와 직관적인 비유 그리고 하드웨어 선택에 미치는 영향까지 한눈에 들어오도록 정리했습니다.</span></p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><br></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="color: rgb(255, 239, 198); font-size: 20px;">내 컴퓨터에 들어올 새로운 뇌: LLM과 VLM</span></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    우리가 설치하려는 AI의 본체는 LLM<span style="font-size: 14px; color: rgb(156, 156, 148);">(대형 언어 모델)</span>입니다. 방대한 텍스트를 학습해 문맥상 다음에 올 단어를 예측하며 문장을 이어가는 프로그램이고, 챗봇과 코딩 도우미의 두뇌가 전부 이것입니다. 클라우드와 로컬의 차이는 이 두뇌가 남의 서버에 있느냐 내 그래픽카드 위에 있느냐뿐입니다. 최근에는 이미지까지 이해하는 VLM<span style="font-size: 14px; color: rgb(156, 156, 148);">(시각 언어 모델)</span>이 대세로 떠올랐습니다. 텍스트만 다루는 LLM에 눈에 해당하는 시각 처리부를 더한 구조로, 스크린샷이나 사진을 읽어 그 내용을 글로 설명합니다. 로컬에서 구동할 때는 이 시각 처리를 맡는 프로젝터 파일(mmproj)이 본체와 함께 따라붙습니다.</span></p></td></tr></tbody></table><p style="line-height: 2;"></p></div><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;"><div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 24px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; display: flex; align-items: center; letter-spacing: -0.5px;"><span style="color: #00f5d4; margin-right: 8px;">■</span>1. 대표적인 AI 종류</div>
  <div style="display: flex; flex-wrap: wrap; gap: 20px;">
    <div style="flex: 1; min-width: 280px; background-color: #1a1b1e; border: 1px solid #34383e; border-top: 4px solid #00b4d8; border-radius: 8px; padding: 20px; box-sizing: border-box; box-shadow: 0 4px 15px rgba(0,0,0,0.2);">
      <div style="font-size: 17px; font-weight: 800; color: #00b4d8; margin-bottom: 12px; letter-spacing: -0.5px;">📖 LLM (대형 언어 모델)</div>
      <div style="font-size: 14px; line-height: 1.7; color: #aaabb0;">
        <div style="margin-bottom: 6px;"><span style="color: #ffffff; font-weight: bold; background-color: #24272c; padding: 2px 6px; border-radius: 4px; font-size: 12px; margin-right: 6px;">정의</span>텍스트를 읽고 쓰는 문장 생성 AI 두뇌</div>
        <div style="margin-bottom: 10px;"><span style="color: #ffffff; font-weight: bold; background-color: #24272c; padding: 2px 6px; border-radius: 4px; font-size: 12px; margin-right: 6px;">방식</span>문맥을 파악해 다음에 올 최적 단어 예측</div>
        <div style="border-top: 1px solid #2d3034; margin-top: 12px; padding-top: 12px; color: #dfdfdf; font-size: 13.5px;">
          챗봇, 코딩, 번역 등 모든 로컬 AI의 본체입니다. 외부 서버를 거치지 않고 오직 내 그래픽카드 내부 자원만으로 구동됩니다.
        </div>
      </div>
    </div>
    <div style="flex: 1; min-width: 280px; background-color: #1a1b1e; border: 1px solid #34383e; border-top: 4px solid #9b5de5; border-radius: 8px; padding: 20px; box-sizing: border-box; box-shadow: 0 4px 15px rgba(0,0,0,0.2);">
      <div style="font-size: 17px; font-weight: 800; color: #9b5de5; margin-bottom: 12px; letter-spacing: -0.5px;">👁️ VLM (시각 언어 모델)</div>
      <div style="font-size: 14px; line-height: 1.7; color: #aaabb0;">
        <div style="margin-bottom: 6px;"><span style="color: #ffffff; font-weight: bold; background-color: #24272c; padding: 2px 6px; border-radius: 4px; font-size: 12px; margin-right: 6px;">정의</span>이미지를 보고 글로 답하는 눈 달린 AI</div>
        <div style="margin-bottom: 10px;"><span style="color: #ffffff; font-weight: bold; background-color: #24272c; padding: 2px 6px; border-radius: 4px; font-size: 12px; margin-right: 6px;">방식</span>LLM 구조에 이미지 특징 추출 레이어 결합</div>
        <div style="border-top: 1px solid #2d3034; margin-top: 12px; padding-top: 12px; color: #dfdfdf; font-size: 13.5px;">
          에러 스크린샷 분석이나 이미지 속 데이터 추출이 가능합니다. 구동 시 시각 처리용 전용 파일인 <span style="color: #9b5de5; font-weight: bold;">mmproj</span> 가 패키지로 동반됩니다.
        </div>
      </div>
    </div>
  </div>
</div><p></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="color: rgb(255, 239, 198); font-size: 20px;">AI의 지능과 처리 속도를 가늠하는 척도: 파라미터와 토큰</span></p><p style="text-align: center; "><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400;">    모델 이름 뒤에 붙은 7B, 27B에서 B는 10억<span style="font-size: 14px; color: rgb(156, 156, 148);">(Billion)</span>을 뜻합니다. AI가 학습으로 쌓아둔 지식의 양을 나타내는 파라미터<span style="color: rgb(156, 156, 148); font-size: 14px;">(Parameter)</span> 개수로, 27B라면 파라미터가 270억 개라는 의미입니다. 이 숫자가 클수록 더 똑똑해지지만, 그만큼 저장 공간도 많이 차지하고 요구 사양도 무거워집니다.<br></span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;"><br></span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400;">    한편 AI는 문장을 글자 그대로 읽지 않고, 토큰<span style="color: rgb(156, 156, 148); font-size: 14px;">(Token)</span>이라는 잘게 쪼갠 조각 단위로 처리합니다. 한글은 대략 한 글자 안팎이 토큰 하나라고 보면 되고, 로컬 AI의 성능은 모두 이 토큰을 기준으로 측정합니다. 대표 지표가 1초에 토큰을 몇 개 만들어내는지를 나타내는 t/s<span style="font-size: 14px; color: rgb(156, 156, 148);">(초당 토큰 수)</span>입니다.</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;"><br></span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    감을 잡도록 기준선 두 개를 드리겠습니다. 사람이 글을 눈으로 읽는 속도가 초당 5~10개, 대화가 답답하지 않은 최저선이 초당 20개입니다. 그러니 75 t/s란 눈이 따라가지 못할 만큼 빠른 속도라는 뜻입니다. 앞으로 나올 모든 측정값은 이 기준선에 대보면 감이 잡힙니다.</span></p></td></tr></tbody></table><p style="line-height: 2;"></p></div><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;"><div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 24px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; display: flex; align-items: center; letter-spacing: -0.5px;"><span style="color: #ff007f; margin-right: 8px;">■<span style="color: rgb(255, 255, 255); font-size: 20px; font-weight: 800; background-color: initial;"> 2. 체급과 속도의 단위</span></span></div>
  <div style="display: flex; flex-direction: column; gap: 16px;">
    <div style="background-color: #1a1b1e; border: 1px solid #2d3034; border-left: 5px solid #00b4d8; padding: 16px 20px; border-radius: 6px; box-sizing: border-box;">
      <div style="font-size: 15px; font-weight: 800; color: #ffffff; margin-bottom: 6px; display: flex; justify-content: space-between; align-items: center;">
        <span>지식의 용량 ➔ 파라미터 (Parameter)</span>
        <span style="font-size: 11px; color: #00b4d8; border: 1px solid #00b4d8; padding: 1px 6px; border-radius: 3px; font-weight: normal;">AI의 체급</span>
      </div>
      <div style="font-size: 13.5px; color: #aaabb0; line-height: 1.6;">AI가 학습으로 쌓은 지식의 양입니다. 모델명 뒤의 7B, 27B(B=10억)가 이 개수를 뜻하며, 숫자가 클수록 똑똑하지만 요구 사양이 무거워집니다.</div>
    </div>
    <div style="background-color: #1a1b1e; border: 1px solid #2d3034; border-left: 5px solid #00f5d4; padding: 16px 20px; border-radius: 6px; box-sizing: border-box;">
      <div style="font-size: 15px; font-weight: 800; color: #ffffff; margin-bottom: 6px; display: flex; justify-content: space-between; align-items: center;">
        <span>연산 조각 ➔ 토큰 (Token)</span>
        <span style="font-size: 11px; color: #00f5d4; border: 1px solid #00f5d4; padding: 1px 6px; border-radius: 3px; font-weight: normal;">연산 최소 단위</span>
      </div>
      <div style="font-size: 13.5px; color: #aaabb0; line-height: 1.6;">AI가 문장을 처리하는 최소 조각 단위입니다. 한글은 대략 한 글자 안팎이 토큰 하나에 해당합니다.</div>
    </div>
    <div style="background-color: #1a1b1e; border: 1px solid #2d3034; border-left: 5px solid #9b5de5; padding: 16px 20px; border-radius: 6px; box-sizing: border-box;">
      <div style="font-size: 15px; font-weight: 800; color: #ffffff; margin-bottom: 12px; display: flex; justify-content: space-between; align-items: center;">
        <span>속도 척도 ➔ t/s (Tokens per Second)</span>
        <span style="font-size: 11px; color: #9b5de5; border: 1px solid #9b5de5; padding: 1px 6px; border-radius: 3px; font-weight: normal;">초당 생성 속도</span>
      </div>
      <div style="font-size: 13.5px; color: #aaabb0; line-height: 1.6;">
        AI가 1초당 생성해내는 토큰의 개수입니다. PC의 실측 성능을 판가름하는 핵심 지표입니다.
        <div style="display: flex; gap: 8px; margin-top: 14px; flex-wrap: wrap;">
          <div style="flex: 1; min-width: 140px; background-color: #222327; border: 1px solid #2d3034; padding: 10px; border-radius: 6px; text-align: center;">
            <div style="font-size: 11px; color: #88898e; margin-bottom: 2px;">인간의 독서 속도</div>
            <div style="font-size: 14px; font-weight: bold; color: #e0e1dd;">5 ~ 10 t/s</div>
          </div>
          <div style="flex: 1; min-width: 140px; background-color: #142c22; border: 1px solid #1f4736; padding: 10px; border-radius: 6px; text-align: center;">
            <div style="font-size: 11px; color: #6fb092; margin-bottom: 2px;">쾌적한 대화 기준선</div>
            <div style="font-size: 14px; font-weight: bold; color: #75e6da;">20 t/s 이상</div>
          </div>
          <div style="flex: 1; min-width: 140px; background-color: #341236; border: 1px solid #522155; padding: 10px; border-radius: 6px; text-align: center;">
            <div style="font-size: 11px; color: #c08cb8; margin-bottom: 2px;">하이엔드 체감 성능</div>
            <div style="font-size: 14px; font-weight: bold; color: #f7d6c8;">75 t/s 초과</div>
          </div>
        </div>
      </div>
    </div>
  </div>
</div><br><p></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 20px; color: rgb(255, 239, 198);">게임은 GPU 칩셋, 로컬 AI는 VRAM!</span></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    그래픽카드를 고를 때 게이머는 연산 성능을 따지지만, 로컬 AI에서는 그 공식이 깨집니다. AI는 토큰 하나를 출력할 때마다 모델 파일 전체를 한 번씩 읽어야 하기 때문입니다. 75 t/s란 그 16.7GB를 초당 75번 읽어낼 만큼의 메모리 대역폭이 필요하다는 뜻이고, 이 전송 속도를 감당할 수 있는 공간이 그래픽카드의 VRAM입니다. 그래서 VRAM 용량과 대역폭이 모든 효율을 결정하며, 용량이 모자라 모델 일부가 시스템 메모리로 넘어가는 순간 속도는 수십 분의 일로 폭락합니다. 고속도로 마지막 1km가 비포장도로면 도착 시간은 비포장도로가 정하는 원리입니다. 32GB VRAM을 얹은 RTX 5090에 게이머보다 AI 사용자들이 더 열광한 배경이 여기에 있습니다.</span></p></td></tr></tbody></table></div><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;"><div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 24px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; display: flex; align-items: center; letter-spacing: -0.5px;"><span style="color: #ffb703; margin-right: 8px;">■</span>3. 하드웨어 구성의 절대 법칙
  </div>
  
  <div style="background: linear-gradient(90deg, #3a0ca3, #1a064b); border-radius: 8px; padding: 16px 20px; font-size: 15px; line-height: 1.6; margin-bottom: 20px; box-sizing: border-box; border-left: 5px solid #70e000; box-shadow: inset 0 1px 3px rgba(255,255,255,0.1);">
    <span style="color: #70e000; font-weight: 900; font-size: 16px;">로컬 AI 제1법칙 :</span> 게이밍은 GPU 연산 칩셋이 성능을 지배하지만, 로컬 AI 세계에서는 <span style="color: #ffffff; font-weight: bold; text-decoration: underline;">VRAM 용량과 대역폭</span>이 모든 효율을 결정합니다. 단, 뒤에 나올 MoE는 이 법칙을 영리하게 비껴갑니다.</div>
  
  <div style="display: flex; flex-wrap: wrap; gap: 16px;">
    <div style="flex: 1; min-width: 280px; background-color: #1a1b1e; border: 1px solid #34383e; border-radius: 8px; padding: 18px; box-sizing: border-box;">
      <div style="font-size: 15px; font-weight: bold; color: #ffb703; margin-bottom: 8px; display: flex; align-items: center; gap: 6px;">
        <span style="width: 6px; height: 6px; background-color: #ffb703; border-radius: 50%;"></span> VRAM (그래픽 메모리)
      </div>
      <div style="font-size: 13.5px; line-height: 1.6; color: #aaabb0;">AI 모델 전체가 올라가는 <span style="color: #ffffff; font-weight: bold;">'AI의 집'</span>입니다. 여기에 대화 기억과 연산 공간이 더 필요합니다.</div>
    </div>
    <div style="flex: 1; min-width: 280px; background-color: #1a1b1e; border: 1px solid #34383e; border-radius: 8px; padding: 18px; box-sizing: border-box;">
      <div style="font-size: 15px; font-weight: bold; color: #ffb703; margin-bottom: 8px; display: flex; align-items: center; gap: 6px;">
        <span style="width: 6px; height: 6px; background-color: #ffb703; border-radius: 50%;"></span> 대역폭 (Bandwidth)
      </div>
      <div style="font-size: 13.5px; line-height: 1.6; color: #aaabb0;">메모리 칩셋과 프로세서 사이의 도로 넓이입니다. 하이엔드 GPU(RTX 5090 등)는 초당 1.7TB가 넘는 압도적 전송 통로를 제공합니다.</div>
    </div>
  </div>
  
  <div style="background-color: #2b1417; border-radius: 8px; padding: 14px 18px; border: 1px solid #5c2429; font-size: 13px; line-height: 1.6; margin-top: 18px; box-sizing: border-box; color: #f7a3a8;">
    <strong style="color: #ff4d6d; font-size: 14px; display: block; margin-bottom: 4px;">⚠️ 시스템 메모리(RAM) 공유 병목 현상</strong>VRAM이 꽉 차 연산 일부가 일반 RAM으로 밀려나는 순간, 병목이 생겨 토큰 생성 속도가 수십 분의 일로 폭락합니다.</div>
</div>

<p></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="color: rgb(255, 239, 198); font-size: 20px;">거대한 두뇌를 내 그래픽카드에 구겨 넣는 기술: 양자화와 GGUF</span></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    그렇다면 수십 기가바이트짜리 모델을 일반 시스템에 어떻게 올릴까요. 해답은 모델이 지식을 저장하는 숫자의 정밀도를 살짝 낮춰 파일 용량을 줄이는 양자화<span style="font-size: 14px; color: rgb(156, 156, 148);">(Quantization)</span>입니다. 중복을 제거하는 무손실 압축이 아니라, 화질을 조금 낮추는 손실 압축에 가깝습니다. 이 과정을 거쳐 로컬 구동용으로 패키징된 파일 규격이 GGUF이고, 음악 감상에 MP3를 내려받듯 로컬 AI는 이 확장자 파일을 내려받으면 됩니다. 정밀도 등급별 차이는 아래 표로 정리했습니다.</p></td></tr></tbody></table></div><p></p>

<div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;">
  <div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 24px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; display: flex; align-items: center; letter-spacing: -0.5px;">
    <span style="color: #00f5d4; margin-right: 8px;">■</span>4. 모델 다이어트와 표준 규격
  </div>
  
  <div style="font-size: 14px; line-height: 1.7; color: #aaabb0; margin-bottom: 20px; background-color: #1a1b1e; padding: 16px; border-radius: 8px; border: 1px solid #2d3034;">
    📌 <span style="color: #ffffff; font-weight: bold;">양자화 (Quantization):</span> 모델이 지식을 저장하는 숫자의 정밀도를 낮춰 파일 용량을 크게 줄이는 기술입니다. 화질을 조금 양보해 영상 파일을 가볍게 만드는 것과 비슷합니다.<br>
    📌 <span style="color: #ffffff; font-weight: bold;">GGUF 형식:</span> 로컬에서 파일 하나로 바로 구동되도록 묶어놓은 <span style="color: #00f5d4; font-weight: bold;">표준 모델 규격(.gguf)</span>입니다.
  </div>
  
  <div style="overflow-x: auto; width: 100%; border-radius: 8px; border: 1px solid #34383e;">
    <table style="width: 100%; border-collapse: collapse; font-size: 13.5px; text-align: left;">
      <thead>
        <tr style="background-color: #222327; color: #ffffff; border-bottom: 2px solid #34383e;">
          <th style="padding: 12px 14px; font-weight: bold;">압축 등급</th>
          <th style="padding: 12px 14px; font-weight: bold;">데이터 정밀도</th>
          <th style="padding: 12px 14px; font-weight: bold;">27B 모델 기준 용량</th>
          <th style="padding: 12px 14px; font-weight: bold;">현실적인 특징 및 용도</th>
        </tr>
      </thead>
      <tbody>
        <tr style="border-bottom: 1px solid #2d3034;">
          <td style="padding: 12px 14px; color: #ffffff; font-weight: bold;">FP32</td>
          <td style="padding: 12px 14px; color: #88898e;">32 비트 (4 바이트)</td>
          <td style="padding: 12px 14px; color: #e3e3e6;">약 108 GB</td>
          <td style="padding: 12px 14px; color: #aaabb0;">연구 및 추가 학습 목적의 데이터</td>
        </tr>
        <tr style="border-bottom: 1px solid #2d3034;">
          <td style="padding: 12px 14px; color: #ffffff; font-weight: bold;">FP16 / BF16</td>
          <td style="padding: 12px 14px; color: #88898e;">16 비트 (2 바이트)</td>
          <td style="padding: 12px 14px; color: #e3e3e6;">약 54 GB</td>
          <td style="padding: 12px 14px; color: #aaabb0;">배포되는 사실상의 원본 상태</td>
        </tr>
        <tr style="border-bottom: 1px solid #2d3034; background-color: rgba(0, 180, 216, 0.03);">
          <td style="padding: 12px 14px; color: #00b4d8; font-weight: bold;">Q8 등급</td>
          <td style="padding: 12px 14px; color: #88898e;">8 비트 (1 바이트)</td>
          <td style="padding: 12px 14px; color: #00b4d8; font-weight: bold;">약 27 GB</td>
          <td style="padding: 12px 14px; color: #aaabb0;">고품질 압축 레이어 (원본 스펙과 체감 구별 불가)</td>
        </tr>
        <tr style="background-color: rgba(0, 245, 212, 0.05);">
          <td style="padding: 12px 14px; color: #00f5d4; font-weight: bold;">Q4 등급</td>
          <td style="padding: 12px 14px; color: #88898e;">4 비트 (0.5 바이트)</td>
          <td style="padding: 12px 14px; color: #00f5d4; font-weight: bold;">약 17 GB</td>
          <td style="padding: 12px 14px; color: #ffffff; font-weight: bold;">글로벌 표준 밸런스 (손실 최저, 데이터 경량화)</td>
        </tr>
      </tbody>
    </table>
    <div style="font-size: 13px; line-height: 1.7; color: #aaabb0; margin-top: 18px; background-color: #1a1b1e; padding: 14px 16px; border-radius: 8px; border: 1px solid #2d3034; border-left: 3px solid #00f5d4;">
      💡 <span style="color: #ffffff; font-weight: bold;">표 용량은 근삿값입니다.</span> 임베딩 등 일부 레이어는 더 높은 정밀도로 유지되기 때문에, 27B의 Q4 파일은 순수 4비트로 계산한 값(약 13.5GB)보다 큰 16.7GB 안팎입니다.
    </div>
  </div>
</div>

<p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 20px; color: rgb(255, 239, 198);">덩치 값 못하는 똑똑함: Dense와 MoE 구조</span></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400;">    똑같은 크기의 파일인데 작동 속도가 서너 배씩 갈리는 경우가 있습니다. 원인은 내부 구조입니다. 전통적인 Dense<span style="background-color: transparent; font-size: 14px; color: rgb(156, 156, 148);">(밀집형)</span>는 토큰 하나를 만들 때마다 파라미터 전체가 연산에 동원됩니다. 결과물이 안정적인 대신 덩치가 커질수록 정직하게 느려집니다. 이를 극복한 설계가 MoE<span style="font-size: 14px; color: rgb(156, 156, 148);">(전문가 혼합형)</span>로, 내부를 분야별 전문가 팀으로 쪼개 질문에 맞는 소수만 호출합니다. 35B-A3B 같은 표기가 이 구조를 그대로 드러냅니다. 전체 파라미터는 350억 개<span style="color: rgb(156, 156, 148); font-size: 14px;">(35B)</span>지만, 토큰을 만들 때마다 실제로 작동하는 활성 파라미터는 30억 개<span style="font-size: 14px; color: rgb(156, 156, 148);">(3B)</span>뿐이라는 뜻입니다.</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    여기서 흥미로운 모순이 나옵니다. MoE는 VRAM을 전체 크기만큼 차지하면서도 연산에 동원되는 파라미터가 일부뿐이라 속도는 소형 모델급으로 나옵니다. 메모리만 넉넉하다면 큰 Dense 모델을 들이지 않고도 적은 연산으로 하이엔드급 체감을 얻는 셈입니다. 쉽게 말해 창고에는 전문가 100명이 모두 대기하고 있지만, 질문이 들어오면 그중 필요한 8~10명만 일하는 구조라고 생각하면 됩니다.</p></td></tr></tbody></table></div><p></p><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;">
  <div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 24px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; display: flex; align-items: center; letter-spacing: -0.5px;">
    <span style="color: #9b5de5; margin-right: 8px;">■<span style="color: rgb(255, 255, 255); font-size: 20px; font-weight: 800; background-color: initial;"> 5. 두뇌 구조의 차이 (Dense vs MoE)</span></span></div>
  
  <div style="display: flex; flex-wrap: wrap; gap: 16px;">
    <div style="flex: 1; min-width: 280px; background-color: #1a1b1e; border: 1px solid #34383e; border-radius: 8px; padding: 18px; box-sizing: border-box;">
      <div style="font-size: 15px; font-weight: bold; color: #ffffff; margin-bottom: 10px; display: flex; align-items: center; gap: 6px;">
        <span style="width: 8px; height: 8px; background-color: #88898e; border-radius: 2px;"></span> Dense (밀집형 정통 구조)
      </div>
      <div style="font-size: 13.5px; line-height: 1.6; color: #aaabb0;">
        <span style="color: #ff4d6d; font-weight: bold;">파라미터 전체 연산 개입</span><br>토큰 하나를 만들 때마다 수백억 개 파라미터 전체가 함께 작동합니다. 구조가 정직한 대신 체급이 커질수록 무거워집니다.</div>
    </div>
    <div style="flex: 1; min-width: 280px; background-color: #1a1b1e; border: 1px solid #34383e; border-radius: 8px; padding: 18px; box-sizing: border-box;">
      <div style="font-size: 15px; font-weight: bold; color: #00f5d4; margin-bottom: 10px; display: flex; align-items: center; gap: 6px;">
        <span style="width: 8px; height: 8px; background-color: #00f5d4; border-radius: 2px;"></span> MoE (전문가 혼합 분할 구조)
      </div>
      <div style="font-size: 13.5px; line-height: 1.6; color: #aaabb0;">
        <span style="color: #00f5d4; font-weight: bold;">선택적 조건 연산 개입</span><br>전문가라고 부르지만 사람처럼 분야가 나뉜 건 아니고, 학습으로 정해진 규칙에 따라 토큰마다 전체 중 일부만 자동으로 켜지는 구조</div>
    </div>
  </div>
  
  <div style="background-color: #1d172b; border-radius: 8px; padding: 18px; border: 1px solid #3d2b5c; font-size: 14px; line-height: 1.6; margin-top: 18px; box-sizing: border-box;">
    <div style="font-weight: bold; color: #b79ced; margin-bottom: 8px;">📊 혼합 규격 스펙 표기 식별 가이드 (예시: 35B-A3B)</div>
    <div style="color: #aaabb0; font-size: 13.5px;">전체 파라미터는 350억 개(<span style="color: #ffffff; font-weight: bold;">35B</span>)이만, 토큰을 만들 때 실제로 작동하는 <span style="color: #00f5d4; font-weight: bold;">활성 파라미터</span>는 30억 개(<span style="color: #ffffff; font-weight: bold;">3B</span>)뿐이라는 뜻입니다.</div>
    <div style="border-top: 1px solid #3d2b5c; margin-top: 12px; padding-top: 12px; color: #e3e3e6; font-size: 13.5px;">
      ⚡ <span style="font-weight: bold; color: #ffffff;">결론 :</span> 정리하면, VRAM은 파일 전체 크기만큼 차지하지만 속도는 실제로 작동하는 일부 파라미터 기준으로 나옵니다.</div></div></div><p></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="color: rgb(255, 239, 198); font-size: 20px;">대화가 길어질 때 치르는 대가: 컨텍스트와 기억력</span></p><p><br></p><p></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    AI가 이전 대화를 기억한 채 다음 대답을 잇도록 돕는 단기 기억 공간을 컨텍스트<span style="font-size: 14px; color: rgb(156, 156, 148);">(Context)</span>라고 부릅니다. 스펙표의 컨텍스트 길이가 이 기억력의 상한선으로, 128K라면 최대 12만 8천 토큰 분량의 대화를 담아둘 수 있다는 뜻입니다.</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    다만 기억력에는 대가가 둘 따라붙습니다. 첫째, 대화가 쌓일수록 기억 데이터 자체가 VRAM을 추가로 갉아먹습니다. 모델 파일 크기에 딱 맞춰 그래픽카드를 고르면, 대화가 몇 마디 쌓이기도 전에 이 여분이 자리를 못 찾아 멈춰버립니다. 둘째, 주고받은 말이 길어질수록 매 토큰마다 되짚어야 할 이전 대화가 늘어나 생성 속도가 점차 떨어집니다. 그래서 컨텍스트는 필요한 만큼만 여는 것이 정석입니다.</p></td></tr></tbody></table></div><p></p><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;">
  <div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 24px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; display: flex; align-items: center; letter-spacing: -0.5px;">
    <span style="color: #e63946; margin-right: 8px;">■<span style="color: rgb(255, 255, 255); font-size: 20px; font-weight: 800; background-color: initial;"> 6. 단기 기억 공간과 대가</span></span></div>
  
  <div style="font-size: 14px; line-height: 1.7; color: #aaabb0; margin-bottom: 20px; background-color: #1a1b1e; padding: 16px; border-radius: 8px; border: 1px solid #2d3034;">
    💡 <span style="color: #ffffff; font-weight: bold;">컨텍스트(Context / 문맥 윈도우):</span> AI가 대화를 이어가는 동안 이전 내용을 기억해 두는 단기 기억 공간입니다. (예: 128K = 약 12만 8천 토큰)</div>
  
  <div style="display: flex; flex-direction: column; gap: 14px;">
    <div style="background-color: #1a1b1e; border: 1px solid #34383e; border-right: 4px solid #e63946; padding: 16px; border-radius: 6px; box-sizing: border-box;">
      <div style="font-size: 14.5px; font-weight: bold; color: #e63946; margin-bottom: 6px;">
        Cost 1. 누적 컨텍스트 용량에 따른 VRAM 실시간 추가 잠식
      </div>
      <div style="font-size: 13px; color: #aaabb0; line-height: 1.6;">대화가 쌓일수록 KV 캐시가 커져 VRAM을 추가로 차지합니다. 모델 파일 크기에 딱 맞춰 하드웨어를 고르면, 대화가 몇 마디 쌓이기도 전에 메모리가 모자라 멈출 수 있습니다.</div>
    </div>
    <div style="background-color: #1a1b1e; border: 1px solid #34383e; border-right: 4px solid #ffb703; padding: 16px; border-radius: 6px; box-sizing: border-box;">
      <div style="font-size: 14.5px; font-weight: bold; color: #ffb703; margin-bottom: 6px;">Cost 2. 대화가 길어질수록 느려지는 속도</div>
      <div style="font-size: 13px; color: #aaabb0; line-height: 1.6;">대화가 길어질수록 토큰을 만들 때마다 되짚어야 할 이전 내용이 많아져, 생성 속도가 점점 느려집니다.</div>
    </div>
  </div>
</div>

<p></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 20px; color: rgb(255, 239, 198);">하드웨어와 AI 소프트웨어를 연결하는 다리: 엔진과 백엔드</span></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    이 파일과 부품들을 엮어 실제로 대화창을 띄우는 구동 엔진이 llama.cpp입니다. LM Studio, Ollama 같은 GUI 도구들도 내부를 뜯어보면 이 엔진 위에 사용하기 쉬운 화면을 얹은 형태이고, 리뷰의 모든 측정 역시 간섭 요소를 배제하기 위해 공식 배포 빌드<span style="font-size: 14px; color: rgb(156, 156, 148);">(b9994)</span>를 직접 구동해 진행했습니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    마지막으로 이 엔진이 그래픽카드에 명령을 전달할 때 거치는 전용 통로가 백엔드<span style="color: rgb(156, 156, 148); font-size: 14px;">(Backend)</span>입니다. 엔비디아 카드에 최적화된 CUDA가 사실상 업계 표준으로 자리 잡았고, 이것이 로컬 AI에서 엔비디아가 가진 강점의 뿌리입니다. AMD의 ROCm과 인텔의 oneAPI가 격차를 좁혀오고 있지만, 아직은 자기 카드 제조사의 전용 백엔드를 쓰는 것이 가장 안전한 선택입니다.</p></td></tr></tbody></table></div><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;"><div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 24px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; display: flex; align-items: center; letter-spacing: -0.5px;"><span style="color: #76b900; margin-right: 8px;">■</span>7. 구동 플레이어와 제조사별 통로
  </div>
  
  <div style="background-color: #1a1b1e; border: 1px solid #34383e; border-radius: 8px; padding: 18px; box-sizing: border-box; margin-bottom: 20px; box-shadow: 0 4px 10px rgba(0,0,0,0.2);">
    <div style="font-size: 16px; font-weight: bold; color: #ffffff; margin-bottom: 8px; display: flex; align-items: center; gap: 8px;">
      <span style="background-color: #52565e; color: #ffffff; font-size: 11px; padding: 2px 6px; border-radius: 4px; font-weight: normal;">Core Engine</span>
      ⚙️ 로컬 구동 코어 플레이어 : llama.cpp
    </div>
    <div style="font-size: 13.5px; line-height: 1.6; color: #aaabb0;">GGUF 파일을 불러와 그래픽카드 연산을 처리하는 오픈소스 표준 엔진입니다. 여러 GUI 프로그램의 바탕이자, 이 기사 모든 실측의 기준입니다.</div>
  </div>
  
  <div style="display: flex; flex-direction: column; gap: 10px;">
    <div style="display: flex; align-items: center; background-color: #1a1b1e; border: 1px solid #2d3034; border-radius: 6px; overflow: hidden;">
      <div style="width: 130px; background-color: #273c10; color: #76b900; font-weight: 900; font-size: 14px; text-align: center; padding: 16px 10px; flex-shrink: 0; letter-spacing: 0.5px;">NVIDIA CUDA</div>
      <div style="font-size: 13px; color: #aaabb0; padding: 12px 16px; line-height: 1.5;">오랜 기간 쌓인 생태계를 앞세운, 로컬 AI의 사실상 표준 백엔드입니다.</div>
    </div>
    <div style="display: flex; align-items: center; background-color: #1a1b1e; border: 1px solid #2d3034; border-radius: 6px; overflow: hidden;">
      <div style="width: 130px; background-color: #3d1418; color: #ed1c24; font-weight: 900; font-size: 14px; text-align: center; padding: 16px 10px; flex-shrink: 0; letter-spacing: 0.5px;">AMD ROCm</div>
      <div style="font-size: 13px; color: #aaabb0; padding: 12px 16px; line-height: 1.5;">오픈소스 기반으로 격차를 좁혀가는 AMD의 추격 백엔드입니다.</div>
    </div>
    <div style="display: flex; align-items: center; background-color: #1a1b1e; border: 1px solid #2d3034; border-radius: 6px; overflow: hidden;">
      <div style="width: 130px; background-color: #102a3f; color: #0071c5; font-weight: 900; font-size: 14px; text-align: center; padding: 16px 10px; flex-shrink: 0; letter-spacing: 0.5px;">INTEL oneAPI</div>
      <div style="font-size: 13px; color: #aaabb0; padding: 12px 16px; line-height: 1.5;">인텔 Xe 아키텍처에 맞춘 인텔의 백엔드입니다.</div>
    </div>
  </div>
  
  <div style="background-color: #162429; border-radius: 8px; padding: 14px 18px; border: 1px solid #1f373f; font-size: 13px; line-height: 1.6; margin-top: 16px; box-sizing: border-box; color: #8ecae6;">
    💡 <span style="font-weight: bold; color: #ffffff;">백엔드 매칭 프로 팁 :</span> 범용으로 쓰는 방법도 있지만, 성능을 온전히 끌어내려면 제조사별 전용 백엔드를 직접 지정하는 것이 정석.</div>
</div><a id="p2"></a><br><p></p><p></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 24px; color: rgb(255, 255, 255);">2. 로컬 AI: 30분 완성 가이드</span></p><p style="text-align: center; "><span style="font-size: 16px;"><br></span></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    로컬 AI를 구동하는 방법은 크게 두 가지입니다. 하나는 LM Studio, Ollama 같은 GUI 프로그램입니다. 일반 앱처럼 설치한 뒤 클릭 몇 번으로 모델을 받아 바로 채팅할 수 있어 문턱이 가장 낮습니다. 다른 하나는 이들 모두의 기본 프로그램인 llama.cpp 엔진을 직접 구동하는 방법입니다. 사실 LM Studio도 Ollama도 뜯어보면 이 엔진 위에 사용하기 쉬운 화면을 얹은 형태라, 직접 써보고 취향에 맞는 쪽을 골라도 괜찮습니다. 이번 기사는 엔진 직접 구동 방식으로 안내합니다. 검은 창이 등장하지만 겁먹지 마세요. 오늘 직접 타이핑할 명령은 사실상 두 줄이고, 그마저 복사·붙여넣기면 충분합니다.<span style="font-size: 12pt;"></span></p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p style="text-align: center; "><span style="font-size: 16px;"><br></span></p><p style="text-align: center; "><span style="font-size: 16px;"><br></span></p><p style="text-align: center; "><span style="font-size: 16px;"><br></span></p><p style="text-align: center; "><span style="font-size: 20px; color: rgb(255, 255, 255);">1단계 -</span><span style="font-size: 20px; color: rgb(255, 239, 198);"> llama.cpp 내려받기: 설치라기보다 압축 풀기</span></p><p style="text-align: center; "><br></p><p style="text-align: center; "><img src="https://img2.quasarzone.com/editor/2026/07/20/0553786077eaf1f652fd5605ff304c32.webp" alt="퀘이사존"><span style="font-size: 16px;"><br></span></p><p style="text-align: center; "><span style="font-size: 16px;"><br></span></p><p style="text-align: center; "><img src="https://img2.quasarzone.com/editor/2026/07/20/515430abfeb05fd715252885213aab06.jpg" alt="퀘이사존"><br></p><p style="text-align: center; "><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    구글에서 llama.cpp를 검색해 GitHub 저장소로 이동한 뒤 우측의 Releases 메뉴를 클릭합니다. 최신 버전 목록에서 파일명에 win-cuda가 들어간 zip 파일을 내려받으면 됩니다. 여기서 주의할 점 하나, 비슷한 이름의 cpu 버전을 받으면 그래픽카드를 전혀 쓰지 못하니 반드시 cuda라는 글자를 확인하세요. 파일명의 b로 시작하는 숫자는 버전 번호입니다. 본 리뷰는 b9994 빌드 기준으로 진행합니다. llama.cpp는 업데이트가 잦으니, 실제로 받을 때는 최신 버전을 권합니다.</span><span style="font-size: 12pt;"></span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    내려받은 zip을 원하는 폴더에 풀어줍니다. 폴더를 열어 llama-server.exe 파일이 보이면 준비 끝입니다. 한 가지 팁을 드리자면 폴더 경로에 공백이 없는 위치(예: C:\llama)에 푸는 것이 좋습니다. 경로에 공백이 있으면 이후 명령어를 입력할 때마다 따옴표를 챙겨야 하는 번거로움이 생기기 때문입니다.</p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p style="text-align: center; "><span style="font-size: 16px;"><br></span></p><p style="text-align: center; "><span style="font-size: 16px;"><br></span></p><p style="text-align: center; "><span style="font-size: 16px;"><br></span></p><p style="text-align: center; "><span style="font-size: 20px;"><span style="color: rgb(255, 255, 255);">2단계 -</span><span style="color: rgb(255, 239, 198);"> 폴더 이동(검은 창은 무섭지 않습니다.)</span></span></p><p style="text-align: center; "><br></p><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><img src="https://img2.quasarzone.com/editor/2026/07/20/2b515226eccc332b3d7cd32237e70415.png" alt="퀘이사존"><span style="font-weight: 400; background-color: transparent;"><br></span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;"><br></span></p><div style="max-width:720px; margin:0 auto; border-radius:10px; overflow:hidden; box-shadow:0 8px 24px rgba(0,0,0,0.35); font-family:Consolas,'Courier New',monospace;">
  <div style="background:#3c3c3c; padding:9px 14px;">
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#ff5f57; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#febc2e; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#28c840; margin-right:14px;"></span><span style="color:#cccccc; font-size:13px; font-family:'Malgun Gothic',sans-serif; font-weight:bold;">명령 프롬프트 열고 폴더로 이동</span>
  </div>
  <div style="background:#0c0c0c; padding:22px 24px; line-height:1.9; font-size:14px;">
    <div style="color:#6a9955; font-size:13px; margin-bottom:6px;">:: 시작 버튼 → cmd 검색 → 실행 후, 압축을 푼 폴더로 이동</div>
    <div style="margin-bottom:14px;">
      <span style="color:#cccccc;">C:\Users\me></span>
      <span style="color:#ffffff; font-weight:bold;"> cd C:\llama(압축을 푼 폴더명)</span></div>
    <div style="color:#6a9955; font-size:13px; margin-bottom:4px;">:: 프롬프트 경로가 이렇게 바뀌면 성공 — 오늘 준비는 끝났습니다</div>
    <div><span style="color:#89d185;">C:\llama></span><span style="color:#ffffff;"> _</span></div>
  </div>
</div>

<p></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    시작 버튼을 눌러 cmd를 검색해 실행하거나, Windows 키 + R을 눌러 cmd를 입력해도 명령 프롬프트가 열립니다. 프롬프트가 열리면 cd 명령 뒤에 압축을 푼 폴더 경로를 입력합니다.<span style="font-size: 14px; color: rgb(156, 156, 148);">(예: cd C:\llama)</span> 그러면 해당 폴더로 이동합니다. 위 화면의 명령은 C:\에 압축을 푼 경우, 명령 프롬프트에서 그 폴더로 이동하는 예시입니다.<span style="font-size: 12pt;"></span></p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><img src="https://img2.quasarzone.com/editor/2026/07/20/2587f01917fd14f35ec31c01f1a46d30.webp" alt="퀘이사존"><span><br><br><img src="https://img2.quasarzone.com/editor/2026/07/20/f6e5a8c5a690ebb8ea62888ea9b1f212.webp" alt="퀘이사존"></span><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    더 쉬운 방법도 있습니다. 파일 탐색기에서 압축을 푼 폴더로 들어간 뒤, 위쪽 주소창에 cmd라고 입력하면 그 위치에서 곧바로 명령 프롬프트가 열립니다. 이 모든 과정은 내려받은 파일이 있는 위치로 들어가 llama 명령어를 실행하기 위함입니다.<span style="font-size: 12pt;"></span></p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-size: 12pt;">   </span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-size: 12pt;"><br></span></p><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><span style="font-size: 20px;"><span style="color: rgb(255, 255, 255);">3단계 -</span> <span style="color: rgb(255, 239, 198);">명령어 한 줄로 모델 다운로드부터 서버 실행까지 해결하기</span></span></p><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><span style="font-size: 20px;"><span style="color: rgb(255, 239, 198);"><br></span></span></p><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><img src="https://img2.quasarzone.com/editor/2026/07/20/bf25a9dce0fad2bdbb4909f591cbebd8.webp" alt="퀘이사존"><span><br><br><img src="https://img2.quasarzone.com/editor/2026/07/20/46ef120066830d8f43449e547b08df34.webp" alt="퀘이사존"></span></p><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><span><br></span></p><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><span style="font-size: 20px; color: rgb(255, 214, 99);"><a href="https://huggingface.co/" target="_blank">Hugging Face 바로가기</a></span></p><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    Hugging Face는 전 세계 수많은 개발자와 기업이 만든 AI 모델을 한곳에 모아두고 자유롭게 써볼 수 있게 해주는 'AI 전문 앱스토어' 같은 곳입니다. 스마트폰 앱스토어에서 앱을 찾아 설치하듯, 글을 써주는 모델부터 그림을 그리거나 음성을 만들어주는 모델까지 누구나 무료로 검색하고 직접 써볼 수 있습니다. 거대 IT 기업부터 개인 연구자까지 최첨단 AI 기술을 누구나 접근할 수 있게 공개하는 공간이라, 오늘날 로컬 AI 생태계의 중심지 역할을 하고 있습니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    위 화면처럼 Hugging Face에서 원하는 모델을 직접 골라도 됩니다. 앞서는 명령어에 모델명을 넣어 자동으로 받았지만, llama.cpp와 호환되는 GGUF 목록에서 양자화 등급을 고른 뒤 모델명을 복사해 -hf 뒤에 붙이면 이렇게 원하는 모델을 직접 지정할 수 있습니다.</p></td></tr></tbody></table></div><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><span style="font-size: 20px;"><span style="color: rgb(255, 239, 198);"><br></span></span></p><p></p><p></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><div style="max-width:720px; margin:0 auto; border-radius:10px; overflow:hidden; box-shadow:0 8px 24px rgba(0,0,0,0.35); font-family:Consolas,'Courier New',monospace;">
  <div style="background:#3c3c3c; padding:9px 14px;">
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#ff5f57; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#febc2e; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#28c840; margin-right:14px;"></span><span style="color:#cccccc; font-size:13px; font-family:'Malgun Gothic',sans-serif; font-weight:bold;">실행 한 줄, 모델은 알아서 받아줍니다</span>
  </div>
  <div style="background:#0c0c0c; padding:22px 24px; line-height:1.9; font-size:14px;">
    <div style="margin-bottom:14px; word-break:break-all;">
      <span style="color:#cccccc;">C:\llama></span>
      <span style="color:#ffffff; font-weight:bold;"> llama-server.exe</span>
      <span style="color:#4fc1ff;"> -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL</span>
      <span style="color:#ffd866;"> -ngl 99</span>
      <span style="color:#c586c0;"> -c 8192</span>
      <span style="color:#89d185;"> --port 8080</span>
    </div>
    <div style="border-top:1px dashed #3c3c3c; padding-top:12px; font-size:12.5px; font-family:'Malgun Gothic',sans-serif; line-height:1.8;">
      <div><span style="color:#4fc1ff;">■ -hf 모델주소</span><span style="color:#9d9d9d;"> — Hugging Face에서 자동 다운로드 (약 17GB, 최초 1회)</span></div>
      <div><span style="color:#ffd866;">■ -ngl 99</span><span style="color:#9d9d9d;"> — 모델 전체를 VRAM에 탑승! </span><span style="color:#ff8f8f;">빼먹으면 속도 저하 1순위</span></div>
      <div><span style="color:#c586c0;">■ -c 8192</span><span style="color:#9d9d9d;"> — 단기 기억(컨텍스트) 크기</span></div>
      <div><span style="color:#89d185;">■ --port 8080</span><span style="color:#9d9d9d;"> — 내 PC 안의 접속 주소가 됩니다: </span><span style="color:#89d185;">localhost:8080</span><span style="color:#9d9d9d;"> (즐겨찾기 추천)</span></div>
    </div>
    <div style="border-top:1px dashed #3c3c3c; margin-top:12px; padding-top:12px;">
      <div style="color:#6a9955; font-size:13px; margin-bottom:4px;">:: 엔터를 치면 다운로드가 시작됩니다</div>
      <div><span style="color:#cccccc;">Downloading Qwen3.6-27B... </span><span style="color:#4fc1ff;">━━━━━━━━━━━━━━</span><span style="color:#3c3c3c;">━━━━━━</span><span style="color:#cccccc;"> 68%</span></div>
    </div>
  </div>
</div>

<p></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    모델을 골랐다면, 최신 llama.cpp에서는 그 파일을 손수 내려받아 옮길 필요가 없습니다. 명령어 하나로 다운로드와 서버 실행을 한 번에 처리하기 때문입니다.</p><ul><li style="text-align: justify; line-height: 2; min-height: 30px;">자동 다운로드: -hf 뒤에 '제작자명/모델명' 형태만 적으면<span style="color: rgb(156, 156, 148); font-size: 14px;">(예: unsloth/Qwen3.6-27B-MTP-GGUF)</span> 필요한 파일을 알아서 찾아 받아옵니다.</li><li style="text-align: justify; line-height: 2; min-height: 30px;">최초 1회 저장: 내려받은 파일은 컴퓨터의 캐시 폴더에 저장돼, 두 번째 실행부터는 다운로드 없이 바로 작동합니다.</li><li style="text-align: justify; line-height: 2; min-height: 30px;">특정 버전 선택: 콜론(:) 뒤에 양자화 등급을 덧붙여 정밀도를 직접 지정할 수 있습니다.<span style="color: rgb(156, 156, 148); font-size: 14px;">(예: :UD-Q4_K_XL)</span></li></ul></td></tr></tbody></table><p style="line-height: 2;"></p></div><p></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 20px;"><span style="color: rgb(255, 255, 255);">4단계 -</span>  <span style="color: rgb(255, 239, 198);">모델 서버 실행 확인</span></span></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2026/07/20/58b093e71fed7a661965466f8a103aef.webp" alt="퀘이사존"><br></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><div style="max-width:720px; margin:0 auto; border-radius:10px; overflow:hidden; box-shadow:0 8px 24px rgba(0,0,0,0.35); font-family:Consolas,'Courier New',monospace;">
  <div style="background:#3c3c3c; padding:9px 14px;">
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#ff5f57; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#febc2e; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#28c840; margin-right:14px;"></span><span style="color:#cccccc; font-size:13px; font-family:'Malgun Gothic',sans-serif; font-weight:bold;">이 두 줄이 보이면 성공입니다</span>
  </div>
  <div style="background:#0c0c0c; padding:22px 24px; line-height:1.9; font-size:14px;">
    <div style="color:#6a9955; font-size:13px; margin-bottom:6px;"><span style="color: rgb(106, 153, 85); font-size: 13px;">:: 서버 개통 완료, 이제 브라우저에서 localhost:8080 접속</span></div>
    <div><span style="color:#89d185; font-weight:bold;">llama_server: listening on http://127.0.0.1:8080</span> <span style="color:#89d185;">✔</span></div>
  </div>
  <div style="background:#2d2013; padding:10px 24px; font-size:12.5px; color:#ffd866; font-family:'Malgun Gothic',sans-serif;">
    ⚠ 이 검은 창이 곧 AI 서버, 창을 닫으면 AI도 꺼집니다. 창 안에서 Ctrl+C는 창이 종료됨. 복사는 드래그 선택 후에! </div>
</div>

<p></p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    다운로드가 끝나면 llama 서버가 뜨면서 받은 모델까지 자동으로 올라옵니다. 이때 위에서 지정한 포트 번호<span style="font-size: 14px; color: rgb(156, 156, 148);">(8080)</span>를 기억해 두면 됩니다. llama 서버가 정상적으로 뜨면 화면에<span style="font-style: italic; color: rgb(255, 255, 255);"> llama_server: listening on http://127.0.0.1:8080</span>이 표시되고, 이 줄이 보이면 서버가 열렸다는 신호입니다.</p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><br></p><div align="center" style="text-align: justify; "><p style="line-height: 2;"></p></div><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 20px;"><span style="color: rgb(255, 255, 255);"> 5 단계 -</span>  <span style="color: rgb(255, 239, 198);">그래픽카드 VRAM 용량 확인</span></span></p><p><br></p><p><br></p><p></p><p>

</p><div style="max-width:720px; margin:0 auto; border-radius:10px; overflow:hidden; box-shadow:0 8px 24px rgba(0,0,0,0.35); font-family:Consolas,'Courier New',monospace;">
  <div style="background:#3c3c3c; padding:9px 14px;">
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#ff5f57; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#febc2e; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#28c840; margin-right:14px;"></span><span style="color:#cccccc; font-size:13px; font-family:'Malgun Gothic',sans-serif; font-weight:bold;">새 창에서 VRAM 점유 보기</span>
  </div>
  <div style="background:#0c0c0c; padding:22px 24px; line-height:1.9; font-size:14px;">
    <div style="color:#6a9955; font-size:13px; margin-bottom:6px;">:: 새 명령 프롬프트 창을 하나 더 열고 (서버 창은 그대로 두고!)</div>
    <div style="margin-bottom:14px;"><span style="color:#cccccc;">C:\llama></span>
      <span style="color:#ffffff; font-weight:bold;"> nvidia-smi</span>
    </div>
    <div style="font-size:12.5px; color:#cccccc; line-height:1.7;">
      <div style="color:#9d9d9d;">+-------------------------------+----------------------+</div>
      <div><span style="color:#9d9d9d;">| </span>GPU  Name<span style="color:#9d9d9d;">                     |        Memory-Usage  |</span></div>
      <div style="color:#9d9d9d;">|===============================+======================|</div>
      <div><span style="color:#9d9d9d;">| </span>0  NVIDIA GeForce RTX 5090<span style="color:#9d9d9d;">   | </span><span style="color:#89d185; font-weight:bold;">18892MiB / 32607MiB</span><span style="color:#9d9d9d;">  |</span></div>
      <div style="color:#9d9d9d;">+-------------------------------+----------------------+</div>
    </div>
    <div style="border-top:1px dashed #3c3c3c; margin-top:12px; padding-top:10px; font-size:12.5px; font-family:'Malgun Gothic',sans-serif; color:#9d9d9d; line-height:1.8;">
      27B 모델이 <span style="color:#89d185;">약 19GB</span>를 사용 중 — 32GB 중 <span style="color:#4fc1ff;">13GB의 여유</span>가 남았습니다.</div>
  </div>
</div><br><p></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    앞서 실행한 것은 <span style="color: rgb(255, 255, 255); font-style: italic;">unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL</span> 모델입니다. 새 명령 프롬프트에서 nvidia-smi를 실행하면 그래픽카드의 VRAM 점유량을 확인할 수 있는데, 이 모델은 파일(16.7GB)+대화 기억·연산 버퍼가 더해져 약 19GB VRAM을 사용합니다.</p></td></tr></tbody></table></div><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 20px;"><span style="color: rgb(255, 255, 255);">마지막 단계 - </span><span style="color: rgb(255, 239, 198);">익숙한 웹UI로 나만의 LLM 접속</span></span></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2026/07/20/4223df136f339980d0bc8048b0f6364e.webp" alt="퀘이사존"><span><br><br><img src="https://img2.quasarzone.com/editor/2026/07/20/ae0616e078eaf2237d356cb264557d67.webp" alt="퀘이사존"></span></p><p><br></p><p>

</p><p></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    이제 검은 명령창이 아니라, 익숙한 챗봇 형태의 웹 화면을 열 차례입니다. 평소 쓰는 브라우저 주소창에 localhost:8080을 입력하면 내장 채팅 화면이 뜹니다. 아무 질문이나 던져보세요. 답이 돌아오는 순간, 인터넷 없이 내 그래픽카드만으로 돌아가는 나만의 AI가 완성된 겁니다.</p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><br></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2026/07/20/19d283c6de67a79dae7c733dd678a2b3.webp" alt="퀘이사존"><br></p><p></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    이렇게 몇 마디 주고받아 보면, 평소 클라우드 서비스로 쓰던 AI와 다르지 않게 작동하는 걸 확인할 수 있습니다. 채팅 화면 아래쪽을 살펴보면 실제 토큰 생성 속도와 지금 구동 중인 모델 이름 같은 세부 정보까지 함께 표시됩니다.<br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    물론 LM Studio나 Ollama 같은 프로그램을 쓰면 더 간편합니다. 다만 그 도구들도 속을 들여다보면 바탕에는 llama.cpp가 자리하고 있습니다. 이번에 가장 밑바탕이 되는 방식을 직접 짚어본 이유입니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    여기까지 왔다면, 어렵게만 보이던 명령창의 문턱은 이미 넘은 셈입니다. 명령어 몇 줄로 원하는 모델을 내려받아, 내 시스템에서 클라우드 AI처럼 굴려보는 것, 2장의 목표는 딱 그 경험 하나였습니다. 이제 남은 질문은 하나입니다. 그래서, 어떤 모델을 올려야 할까요.</p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><a id="p3"></a></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 24px; color: rgb(255, 255, 255);">3. 테스트에 사용된 모델 도감</span></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    다음 질문은 자연스럽게 "뭘 받아야 하지?"입니다. 2026년 중반 현재 로컬 환경에서 널리 쓰이고, 저희가 직접 측정까지 마친 네 모델을 소개합니다. 받는 방법은 2장 명령어에서 모델 이름만 바꾸면 됩니다. 속도는 전부 실측값입니다.</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;"><br></span></p><ul><li style="text-align: justify; line-height: 2; min-height: 30px;"> <span style="color: rgb(255, 255, 255);">Qwen3.6 27B</span> - 만능 표준형 <span style="font-size: 14px; color: rgb(156, 156, 148);">(알리바바 | dense 270억 | 16.7GB | 실측 74.9 t/s)</span></li></ul><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    2장에서 만난 그 모델입니다. 글쓰기·번역·요약·코딩 보조까지 약점 없이 고르게 해내는 올라운더라, 첫 모델로 이견이 드뭅니다. 숨은 강점은 지구력입니다. 대화가 논문 한 편 분량(32K 토큰)까지 쌓여도 속도가 9%만 떨어졌습니다. 긴 문서를 붙여놓고 오래 대화하는 작업에 특히 강합니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">💡 덤으로 가속, MTP - 실행 명령 끝에 --spec-type draft-mtp --spec-draft-n-max 2를 붙이면 실측 74.9 → 122 t/s로, 1.6배 빨라집니다. dense에서 특히 효과가 큽니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><ul><li style="text-align: justify; line-height: 2; min-height: 30px;"><span style="color: rgb(255, 255, 255);">Qwen3.6 35B-A3B</span> - 속도 특화 스프린터 <span style="font-size: 14px; color: rgb(156, 156, 148);">(알리바바 | MoE 총 350억/활성 30억 | 21.3GB | 실측 254.4 t/s)</span></li></ul><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    1장에서 짚은 MoE의 모순을 실물로 보여주는 모델입니다. 파일은 27B보다 큰데 속도는 3.4배로, 답변이 사실상 즉시 나타납니다. 빠른 왕복 대화와 브레인스토밍에 최적이고, 전력도 안정적입니다. 같은 부하에서 27B가 526W를 쓸 때 이 모델은 395W에 머뭅니다.</p><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;"><div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 6px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; letter-spacing: -0.5px;"><span style="color: #00f5d4; margin-right: 8px;">■</span>같은 4비트, 다른 체질 — Dense vs MoE 실측
  </div>
  <div style="font-size: 12.5px; color: #88898e; margin-bottom: 24px;">RTX 5090 단일 카드 · 답변 생성 속도 (t/s) · 4비트 양자화(Q4급) · llama.cpp b9994 · 본지 실측</div>

<div style="margin-bottom:20px;">
    <div style="display:flex; justify-content:space-between; align-items:baseline; margin-bottom:6px; flex-wrap:wrap;">
      <span style="font-size:14px; font-weight:bold; color:#ffffff;">Qwen3.6 27B <span style="color:#88898e; font-weight:normal; font-size:12px;">dense · 파일 16.7GB</span></span>
      <span style="font-size:16px; font-weight:900; color:#aaabb0;">74.9 t/s</span>
    </div>
    <div style="position:relative; width:100%; height:30px; background:rgba(255,255,255,0.04); border-radius:6px;">
      <div style="width:29.4%; height:100%; background:linear-gradient(90deg,#52565e,#88898e); border-radius:6px;"></div>
      <div style="position:absolute; left:7.9%; top:-5px; width:0; height:40px; border-left:2px dashed #ffb703;"></div>
    </div>
  </div>

<div style="margin-bottom:10px;">
    <div style="display:flex; justify-content:space-between; align-items:baseline; margin-bottom:6px; flex-wrap:wrap;">
      <span style="font-size:14px; font-weight:bold; color:#ffffff;">Qwen3.6 35B-A3B <span style="color:#88898e; font-weight:normal; font-size:12px;">MoE · 파일 21.3GB</span></span>
      <span style="font-size:16px; font-weight:900; color:#00f5d4;">254.4 t/s <span style="font-size:13px; color:#75e6da;">(3.4배)</span></span>
    </div>
    <div style="position:relative; width:100%; height:30px; background:rgba(255,255,255,0.04); border-radius:6px;">
      <div style="width:100%; height:100%; background:linear-gradient(90deg,#00b4d8,#00f5d4); border-radius:6px; box-shadow:0 0 16px #00f5d444;"></div>
      <div style="position:absolute; left:7.9%; top:-5px; width:0; height:40px; border-left:2px dashed #ffb703;"></div>
    </div>
  </div>
  <div style="font-size:11.5px; color:#ffb703; margin-bottom:18px;">┊ 쾌적 대화 기준선 20 t/s</div>

<div style="background-color:#1d172b; border:1px solid #3d2b5c; border-radius:8px; padding:12px 16px; font-size:13px; color:#b79ced; line-height:1.6;">
    ⚡ 파일은 MoE 쪽이 더 큰데(21.3 vs 16.7GB) 속도는 <b style="color:#00f5d4;">3.4배</b> — 350억 중 매 순간 30억만 깨우는 전문가 혼합 구조의 힘입니다. 전력도 526W vs 395W로 MoE가 적게 사용합니다.</div>
</div>

<p></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><ul><li style="text-align: justify; line-height: 2; min-height: 30px;"><span style="color: rgb(255, 255, 255);">Gemma 4 12B</span> - 이미지도 보는 눈<span style="font-size: 14px; color: rgb(156, 156, 148);"> (구글 | 멀티모달 120억 | 7GB급 | 실측 145 t/s)</span></li></ul><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    글만 읽는 LLM을 넘어 이미지까지 이해하는 시각 언어 모델<span style="color: rgb(156, 156, 148); font-size: 14px;">(VLM)</span>입니다. 스크린샷을 던져 에러 원인을 묻거나 문서 사진에서 표를 뽑아내는 작업을 전담합니다. 몸집이 가벼워 VRAM을 9 GB만 차지하는 덕에, 카드 한 장에 공간이 절반 넘게 남습니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><ul><li style="text-align: justify; line-height: 2; min-height: 30px;"><span style="color: rgb(255, 255, 255);">Qwen3-Coder-Next</span> - <span style="font-size: 14px;"><span style="font-size: 16px;"><span style="color: inherit;">코딩을 위한 모델</span> </span><span style="color: rgb(156, 156, 148);">(알리바바 | MoE 총 800억/활성 30억 | 46.2GB | 실측 192.3 t/s </span><span style="color: rgb(231, 156, 156);">※듀얼</span><span style="color: rgb(156, 156, 148);">)</span></span></li></ul><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    로컬 코딩 에이전트 전용으로 설계된 모델입니다. 80B 규모지만 매 순간 3B만 작동하는 MoE 구조로, 알리바바는 이 모델이 활성 파라미터의 10~20배에 달하는 대형 모델급 코딩 성능을 낸다고 밝혔습니다. 여기에 256K 컨텍스트로 프로젝트 전체를 읽어들이고, Claude Code나 Codex 같은 에이전트 도구에 그대로 연결됩니다. 단, 파일이 46.2GB라 한 장의 32GB에는 올라가지 않습니다. 두 장으로 VRAM을 늘려야 비로소 구동되는, 듀얼 구성의 존재 이유를 상징하는 모델입니다.</p></td></tr></tbody></table></div><div style="font-family:'NanumBarunGothic','Apple SD Gothic Neo',sans-serif; max-width:800px; width:100%; margin:30px auto; box-sizing:border-box; background:linear-gradient(145deg,#141517,#1b1c1e); color:#e3e3e6; border-radius:16px; padding:28px; border:1px solid #2d3034; box-shadow:0 10px 30px rgba(0,0,0,0.5); text-align:left;"><div style="font-size:20px; font-weight:800; color:#ffffff; margin-bottom:6px; padding-bottom:12px; border-bottom:2px dashed #3a3d42; letter-spacing:-0.5px;"><span style="color:#00f5d4; margin-right:8px;">■</span>모델 4종 한눈 비교
  </div>
  <div style="font-size:12.5px; color:#88898e; margin-bottom:22px;">4비트 양자화(Q4급) · llama.cpp b9994 · 속도는 전부 본지 실측</div>
  <div style="display:flex; flex-direction:column; gap:10px;">
    <div style="background-color:#1a1b1e; border:1px solid #2d3034; border-left:5px solid #00f5d4; border-radius:8px; padding:16px 18px; box-sizing:border-box;">
      <div style="display:flex; justify-content:space-between; align-items:baseline; flex-wrap:wrap; gap:6px; margin-bottom:8px;">
        <div><span style="font-size:15.5px; font-weight:800; color:#ffffff;">Qwen3.6 27B</span> <span style="font-size:12px; color:#88898e;">알리바바 · dense 270억</span></div>
        <div><span style="font-size:11px; color:#00f5d4; border:1px solid #00f5d4; padding:1px 7px; border-radius:3px; margin-right:6px;">만능 표준형</span></div>
      </div>
      <div style="display:flex; flex-wrap:wrap; gap:8px; margin-bottom:10px;">
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">파일 크기</div>
          <div style="font-size:14px; font-weight:bold; color:#e3e3e6;">16.7GB</div>
        </div>
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">실측 속도</div>
          <div style="font-size:14px; font-weight:bold; color:#00f5d4;">74.9 t/s</div>
        </div>
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">필요 카드</div>
          <div style="font-size:14px; font-weight:bold; color:#e3e3e6;">RTX 5090 <b style="color:#00f5d4;">한 장</b></div>
        </div>
      </div>
      <div style="font-size:12.5px; color:#aaabb0; line-height:1.5;">약점 없이 고르게 해내는 올라운더. 32K 대화에서도 속도 하락 9%뿐인 지구력형 — MTP 가속 시 <b style="color:#00f5d4;">122 t/s</b>.</div>
    </div>
    <div style="background-color:#1a1b1e; border:1px solid #2d3034; border-left:5px solid #00b4d8; border-radius:8px; padding:16px 18px; box-sizing:border-box;">
      <div style="display:flex; justify-content:space-between; align-items:baseline; flex-wrap:wrap; gap:6px; margin-bottom:8px;">
        <div><span style="font-size:15.5px; font-weight:800; color:#ffffff;">Qwen3.6 35B-A3B</span> <span style="font-size:12px; color:#88898e;">알리바바 · MoE 총 350억/활성 30억</span></div>
        <div><span style="font-size:11px; color:#00b4d8; border:1px solid #00b4d8; padding:1px 7px; border-radius:3px; margin-right:6px;">속도 특화</span></div>
      </div>
      <div style="display:flex; flex-wrap:wrap; gap:8px; margin-bottom:10px;">
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">파일 크기</div>
          <div style="font-size:14px; font-weight:bold; color:#e3e3e6;">21.3GB</div>
        </div>
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">실측 속도</div>
          <div style="font-size:14px; font-weight:bold; color:#00b4d8;">254.4 t/s</div>
        </div>
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">필요 카드</div>
          <div style="font-size:14px; font-weight:bold; color:#e3e3e6;">RTX 5090 <b style="color:#00b4d8;">한 장</b></div>
        </div>
      </div>
      <div style="font-size:12.5px; color:#aaabb0; line-height:1.5;">답변이 사실상 즉시 나타나는 스프린터. 빠른 왕복 대화와 브레인스토밍에 최적, 전력도 dense보다 130W쯤 얌전합니다.</div>
    </div>
    <div style="background-color:#1a1b1e; border:1px solid #2d3034; border-left:5px solid #9b5de5; border-radius:8px; padding:16px 18px; box-sizing:border-box;">
      <div style="display:flex; justify-content:space-between; align-items:baseline; flex-wrap:wrap; gap:6px; margin-bottom:8px;">
        <div><span style="font-size:15.5px; font-weight:800; color:#ffffff;">Gemma 4 12B</span> <span style="font-size:12px; color:#88898e;">구글 · 멀티모달 120억</span></div>
        <div><span style="font-size:11px; color:#9b5de5; border:1px solid #9b5de5; padding:1px 7px; border-radius:3px; margin-right:6px;">이미지 인식 (VLM)</span></div>
      </div>
      <div style="display:flex; flex-wrap:wrap; gap:8px; margin-bottom:10px;">
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">파일 크기</div>
          <div style="font-size:14px; font-weight:bold; color:#e3e3e6;">7GB급</div>
        </div>
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">실측 속도</div>
          <div style="font-size:14px; font-weight:bold; color:#9b5de5;">145 t/s</div>
        </div>
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">필요 카드</div>
          <div style="font-size:14px; font-weight:bold; color:#e3e3e6;">RTX 5090 <b style="color:#9b5de5;">한 장</b></div>
        </div>
      </div>
      <div style="font-size:12.5px; color:#aaabb0; line-height:1.5;">스크린샷 분석과 문서 사진 표 추출 전담. VRAM을 약 9GB만 차지해 카드 한 장에 공간이 절반 넘게 남습니다.</div>
    </div>
    <div style="background-color:#1a1b1e; border:1px solid #2d3034; border-left:5px solid #ffb703; border-radius:8px; padding:16px 18px; box-sizing:border-box;">
      <div style="display:flex; justify-content:space-between; align-items:baseline; flex-wrap:wrap; gap:6px; margin-bottom:8px;">
        <div><span style="font-size:15.5px; font-weight:800; color:#ffffff;">Qwen3-Coder-Next</span> <span style="font-size:12px; color:#88898e;">알리바바 · MoE 총 800억/활성 30억</span></div>
        <div><span style="font-size:11px; color:#ffb703; border:1px solid #ffb703; padding:1px 7px; border-radius:3px; margin-right:6px;">코딩 특화</span></div>
      </div>
      <div style="display:flex; flex-wrap:wrap; gap:8px; margin-bottom:10px;">
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">파일 크기</div>
          <div style="font-size:14px; font-weight:bold; color:#e3e3e6;">46.2GB</div>
        </div>
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">실측 속도</div>
          <div style="font-size:14px; font-weight:bold; color:#ffb703;">192.3 t/s</div>
        </div>
        <div style="flex:1; min-width:105px; background-color:#222327; border:1px solid #2d3034; border-radius:6px; padding:8px 10px; text-align:center;">
          <div style="font-size:10.5px; color:#88898e; margin-bottom:2px;">필요 카드</div>
          <div style="font-size:14px; font-weight:bold; color:#e3e3e6;"><b style="color:#e3e3e6;">RTX 5090 <b style="color:#ffb703;">두 장</b></b></div><b style="color:#e3e3e6;">
        </b></div><b style="color:#e3e3e6;">
      </b></div><b style="color:#e3e3e6;">
      <div style="font-size:12.5px; color:#aaabb0; line-height:1.5;">80B 규모지만 3B만 작동하는 MoE. 256K 컨텍스트로 프로젝트 전체를 읽어 에이전트 도구에 연결 — 파일이 32GB를 넘어 듀얼 전용.</div>
    </b></div><b style="color:#e3e3e6;">
  </b></div><b style="color:#e3e3e6;">
  <div style="background-color:#142c22; border:1px solid #1f4736; border-radius:8px; padding:12px 16px; font-size:13px; color:#75e6da; line-height:1.6; margin-top:14px;">
    📌 세 모델은 카드 한 장으로 충분하지만, Coder-Next만 두 장이 필요합니다.</div>
</b></div><b style="color:#e3e3e6;">

<p></p><p><br></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2026/07/20/8ae8f6a0f7e7ab4c6d2f857d206124cc.webp" alt="퀘이사존"><br></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2026/07/20/9a07b1b65e187d8c242ac0d58dc1a735.webp" alt="퀘이사존"><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 20px;">💡 <span style="color: rgb(255, 239, 198);">새 모델을 만났을 때</span></span></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="text-align: center; border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentcolor currentcolor; width: 800px; max-width: 100%;" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    ① 정렬로 찾고, 크기를 골라 받기 - Hugging Face 모델 목록 상단의 정렬 옵션<span style="color: rgb(156, 156, 148); font-size: 14px;">(Trending, Most likes, Most downloads)</span>으로 지금 많이 쓰이는 모델을 추릴 수 있습니다.</span><span style="font-weight: 400; background-color: transparent; color: rgb(156, 156, 148); font-size: 14px;">(같은 모델도 업로더별로 나뉘어 있어 대략적인 흐름으로 보면 됩니다)</span><span style="font-weight: 400; background-color: transparent;"> 쓸 모델을 정했다면, 같은 모델이라도 파라미터 규모</span><span style="font-weight: 400; background-color: transparent; color: rgb(156, 156, 148); font-size: 14px;">(예: 12B·27B)</span><span style="font-weight: 400; background-color: transparent;">와 양자화 등급</span><span style="font-weight: 400; background-color: transparent; color: rgb(156, 156, 148); font-size: 14px;">(Q4·Q8 등)</span><span style="font-weight: 400; background-color: transparent;">에 따라 여러 버전이 올라와 있으니 내 VRAM에 맞는 것을 골라 내려받으면 됩니다. VRAM이 빠듯하면 파라미터가 작은 버전을, 여유가 있으면 정밀도가 높은 버전을 택하는 편이 유리합니다.</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    ② 최신 업데이트 여부 - 같은 페이지의 Files 탭에서 파일 갱신 날짜를 확인하세요. 활발히 관리되는 모델일수록 버그 수정과 성능 개선이 꾸준히 반영됩니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    ③ 커뮤니티 반응 - 모델 페이지의 Community 탭이나 Reddit의 r/LocalLLaMA 같은 실사용자 포럼에서 후기와 문제 보고를 훑어보세요. 질문에 답이 활발히 달리는 모델이 건강한 모델입니다.</p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 24px; color: rgb(255, 255, 255);">테스트 시스템 및 후원사 협찬</span></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2026/07/20/211be56e91009cee4584f0b5f50392ff.png" alt="퀘이사존"></p><p style="text-align: center; "><i style="color: rgb(255, 255, 255);">▲ GIGABYTE 지포스 RTX 5090 WINDFORCE OC D7 32GB 제이씨현</i></p><p style="text-align: center; "><i style="color: rgb(255, 255, 255);"><br></i></p><p><img src="https://img2.quasarzone.com/editor/2026/07/20/421c2fc4b3c3d7ccfb903242e0a9f7e7.jpg" alt="퀘이사존"><br></p><p style="text-align: center; "><span style="font-style: italic; color: rgb(255, 255, 255);">▲ GIGABYTE X870E AERO X3D DARK WOOD 제이씨현</span></p><p style="text-align: center; "><span style="font-style: italic; color: rgb(255, 255, 255);"><br></span></p><p style="text-align: center; "><img src="https://img2.quasarzone.com/editor/2026/07/21/40e0d600b377c742dcff3254b6ecc86a.webp" alt="퀘이사존"><span style="font-style: italic; color: rgb(255, 255, 255);"><br></span></p><div style="font-family:'NanumBarunGothic','Apple SD Gothic Neo',sans-serif; max-width:800px; width:100%; margin:30px auto; box-sizing:border-box; background:linear-gradient(145deg,#141517,#1b1c1e); color:#e3e3e6; border-radius:16px; padding:28px; border:1px solid #2d3034; box-shadow:0 10px 30px rgba(0,0,0,0.5); text-align:left;">
  <div style="font-size:20px; font-weight:800; color:#ffffff; margin-bottom:18px; letter-spacing:-0.5px;">
    <span style="color:#00f5d4; margin-right:8px;">■</span>테스트 시스템
  </div>

<div style="display:flex; flex-direction:column; gap:8px;">
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-radius:6px; overflow:hidden;">
      <div style="width:110px; background-color:#222327; color:#00f5d4; font-weight:800; font-size:12.5px; text-align:center; padding:14px 8px; flex-shrink:0; letter-spacing:0.5px;">CPU</div>
      <div style="font-size:13.5px; color:#e3e3e6; padding:12px 16px; line-height:1.6; flex:1;"><b>AMD 라이젠 9 9950X</b><br><span style="font-size:12px; color:#88898e;">16코어 32스레드 · 일반 소비자용 AM5 플랫폼</span></div>
    </div>
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-radius:6px; overflow:hidden;">
      <div style="width:110px; background-color:#222327; color:#00b4d8; font-weight:800; font-size:12.5px; text-align:center; padding:14px 8px; flex-shrink:0; letter-spacing:0.5px;">GPU</div>
      <div style="font-size:13.5px; color:#e3e3e6; padding:12px 16px; line-height:1.6; flex:1;"><b>GIGABYTE 지포스 RTX 5090 WINDFORCE OC D7 32GB 제이씨현 × 2</b><br><span style="font-size:12px; color:#88898e;">PCIe 5.0 x8/x8 구성 · 드라이버 610.62</span></div>
    </div>
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-radius:6px; overflow:hidden;">
      <div style="width:110px; background-color:#222327; color:#9b5de5; font-weight:800; font-size:12.5px; text-align:center; padding:14px 8px; flex-shrink:0; letter-spacing:0.5px;">메인보드</div>
      <div style="font-size:13.5px; color:#e3e3e6; padding:12px 16px; line-height:1.6; flex:1;"><span style="font-weight: 700;">GIGABYTE X870E AERO X3D DARK WOOD 제이씨현</span><br><span style="font-size:12px; color:#88898e;">PCIe 5.0 x8/x8 지원 일반 메인보드</span></div>
    </div>
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-radius:6px; overflow:hidden;">
      <div style="width:110px; background-color:#222327; color:#ffb703; font-weight:800; font-size:12.5px; text-align:center; padding:14px 8px; flex-shrink:0; letter-spacing:0.5px;">메모리</div>
      <div style="font-size:13.5px; color:#e3e3e6; padding:12px 16px; line-height:1.6; flex:1;"><b>TeamGroup T-CREATE DDR5-6000 CL30 EXPERT 서린 16GB × 4 = 64GB</b><br><span style="font-size:12px; color:#88898e;">4-DIMM 구성으로 3600MT/s(JEDEC) 작동</span></div>
    </div>
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-radius:6px; overflow:hidden;">
      <div style="width:110px; background-color:#222327; color:#e76363; font-weight:800; font-size:12.5px; text-align:center; padding:14px 8px; flex-shrink:0; letter-spacing:0.5px;">파워</div>
      <div style="font-size:13.5px; color:#e3e3e6; padding:12px 16px; line-height:1.6; flex:1;"><b>SuperFlower SF-2200F14HP LEADEX TITANIUM ATX3.1</b><br><span style="font-size:12px; color:#88898e;">16핀 커넥터 2개 지원</span></div>
    </div>
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-radius:6px; overflow:hidden;">
      <div style="width:110px; background-color:#222327; color:#d6a5bd; font-weight:800; font-size:12.5px; text-align:center; padding:14px 8px; flex-shrink:0; letter-spacing:0.5px;">케이스</div>
      <div style="font-size:13.5px; color:#e3e3e6; padding:12px 16px; line-height:1.6; flex:1;"><b>마이크로닉스 WIZMAX 우드리안 MAX</b><br><span style="font-size:12px; color:#88898e;">확장 슬롯 9개 · RTX 5090 듀얼 구성 가능</span></div>
    </div>
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-radius:6px; overflow:hidden;">
      <div style="width:110px; background-color:#222327; color:#e63946; font-weight:800; font-size:12.5px; text-align:center; padding:14px 8px; flex-shrink:0; letter-spacing:0.5px;">소프트웨어</div>
      <div style="font-size:13.5px; color:#e3e3e6; padding:12px 16px; line-height:1.6; flex:1;"><b>Windows 11 Pro · llama.cpp b9994 (공식 배포 빌드) · CUDA 13.3</b><br><span style="font-size:12px; color:#88898e;">모델은 unsloth 배포 GGUF · 4비트 양자화(Q4급) · 수치는 3회 측정 평균</span></div>
    </div>
  </div>

<div style="background-color:#142c22; border:1px solid #1f4736; border-radius:8px; padding:12px 16px; font-size:13px; color:#75e6da; line-height:1.6; margin-top:14px;">
    📌 워크스테이션 구성이 아닌 일반 소비자용 부품으로 테스트를 진행했습니다.</div>
</div>

<p></p><p><a id="p4"></a></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 24px; color: rgb(255, 255, 255);">4. 두 장을 꽂으면 열리는 세계: 분할과 분업</span></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    VRAM보다 큰 모델을 만나도 llama.cpp는 포기하지 않습니다. 넘치는 부분을 시스템 메모리로 흘려보내는 오프로드라는 차선책을 쓰죠. 돌아는 갑니다. 문제는 속도입니다.</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;"><br></span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="font-weight: 400; background-color: transparent;">    700억 파라미터의 Llama 3.3 70B<span style="color: rgb(156, 156, 148); font-size: 14px;">(39.6GB)</span>를 레이어 절반만 VRAM에 올려 구동한 실측 결과는 초당 2.2토큰. 읽는 속도에도 못 미치는 사용 불가 판정입니다. 흥미로운 건 이때 그래픽카드 소비전력이 47W였다는 점입니다. 최대 575W까지 쓰는 카드가 시스템 메모리 쪽 연산을 기다리며 사실상 놀고 있었던 겁니다. 1장의 비포장도로 원리가 수치로 증명된 순간이고, 27B로 반복해도 똑같이 15분의 1로 무너졌습니다. 로컬 AI에서 VRAM 초과는 감속이 아니라 붕괴입니다. 이 붕괴를 피하는 정공법이 두 장 구성입니다.</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;">  <div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 6px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; letter-spacing: -0.5px;">
    <span style="color: #e63946; margin-right: 8px;">■</span>VRAM의 절벽 — 넘치는 순간, 감속이 아니라 붕괴
  </div>
  <div style="font-size: 12.5px; color: #88898e; margin-bottom: 22px;">답변 생성 속도 (t/s, 높을수록 빠름) · 막대 위 수치는 측정 당시 GPU 소비전력 · 4비트 양자화(Q4급) · llama.cpp b9994 · 본지 실측</div>
  <div style="position:relative;">
    <div style="display:flex; gap:14px; align-items:stretch; flex-wrap:wrap;">
      <div style="flex:1; min-width:120px; display:flex; flex-direction:column; align-items:center;">
        <div style="font-size:12px; color:#00f5d4; margin-bottom:4px; font-weight:bold;">526W 풀가동</div>
        <div style="font-size:17px; font-weight:900; color:#ffffff; margin-bottom:6px;">74.9 t/s</div>
        <div style="width:64px; height:220px; display:flex; flex-direction:column; justify-content:flex-end; background:rgba(255,255,255,0.03); border-radius:6px 6px 0 0;">
          <div style="width:100%; height:100%; background:linear-gradient(180deg,#00f5d4,#00b4d8); border-radius:6px 6px 0 0; box-shadow:0 0 14px #00f5d444;"></div>
        </div>
        <div style="width:100%; border-top:2px solid #3a3d42; padding-top:8px; text-align:center; font-size:12.5px; color:#e3e3e6; font-weight:bold; line-height:1.4;">Qwen3.6 27B<br><span style="color:#88898e; font-weight:normal; font-size:11.5px;">전체 VRAM 상주</span></div>
      </div>
      <div style="flex:1; min-width:120px; display:flex; flex-direction:column; align-items:center;">
        <div style="font-size:12px; color:#ff8f8f; margin-bottom:4px; font-weight:bold;">54W 대기</div>
        <div style="font-size:17px; font-weight:900; color:#ff8f8f; margin-bottom:6px;">4.9 t/s</div>
        <div style="width:64px; height:220px; display:flex; flex-direction:column; justify-content:flex-end; background:rgba(255,255,255,0.03); border-radius:6px 6px 0 0;">
          <div style="width:100%; height:6.5%; background:#5c2429; border-radius:6px 6px 0 0; box-shadow:0 0 14px #5c242944;"></div>
        </div>
        <div style="width:100%; border-top:2px solid #3a3d42; padding-top:8px; text-align:center; font-size:12.5px; color:#e3e3e6; font-weight:bold; line-height:1.4;">Qwen3.6 27B<br><span style="color:#88898e; font-weight:normal; font-size:11.5px;">절반이 RAM행 (오프로드)</span></div>
      </div>
      <div style="flex:1; min-width:120px; display:flex; flex-direction:column; align-items:center;">
        <div style="font-size:12px; color:#00f5d4; margin-bottom:4px; font-weight:bold;">1,053W 풀가동</div>
        <div style="font-size:17px; font-weight:900; color:#ffffff; margin-bottom:6px;">35.6 t/s</div>
        <div style="width:64px; height:220px; display:flex; flex-direction:column; justify-content:flex-end; background:rgba(255,255,255,0.03); border-radius:6px 6px 0 0;">
          <div style="width:100%; height:47.6%; background:linear-gradient(180deg,#00f5d4,#00b4d8); border-radius:6px 6px 0 0; box-shadow:0 0 14px #00f5d444;"></div>
        </div>
        <div style="width:100%; border-top:2px solid #3a3d42; padding-top:8px; text-align:center; font-size:12.5px; color:#e3e3e6; font-weight:bold; line-height:1.4;">Llama 3.3 70B<br><span style="color:#88898e; font-weight:normal; font-size:11.5px;">듀얼 분할 (온메모리)</span></div>
      </div>
      <div style="flex:1; min-width:120px; display:flex; flex-direction:column; align-items:center;">
        <div style="font-size:12px; color:#ff8f8f; margin-bottom:4px; font-weight:bold;">47W 대기</div>
        <div style="font-size:17px; font-weight:900; color:#ff8f8f; margin-bottom:6px;">2.2 t/s</div>
        <div style="width:64px; height:220px; display:flex; flex-direction:column; justify-content:flex-end; background:rgba(255,255,255,0.03); border-radius:6px 6px 0 0;">
          <div style="width:100%; height:3.0%; background:#5c2429; border-radius:6px 6px 0 0; box-shadow:0 0 14px #5c242944;"></div>
        </div>
        <div style="width:100%; border-top:2px solid #3a3d42; padding-top:8px; text-align:center; font-size:12.5px; color:#e3e3e6; font-weight:bold; line-height:1.4;">Llama 3.3 70B<br><span style="color:#88898e; font-weight:normal; font-size:11.5px;">한 장+RAM (오프로드)</span></div>
      </div>
    </div>
  </div>
  <div style="display:flex; gap:12px; margin-top:18px; flex-wrap:wrap;">
    <div style="flex:1; min-width:250px; background-color:#142c22; border:1px solid #1f4736; border-radius:8px; padding:12px 16px; font-size:13px; color:#75e6da; line-height:1.6;">
      <b>같은 모델, 같은 파일.</b> VRAM에 온전히 들어가면 27B는 읽는 속도의 10배, 70B도 쾌적 기준(20 t/s)을 여유 있게 넘깁니다.
    </div>
    <div style="flex:1; min-width:250px; background-color:#2b1417; border:1px solid #5c2429; border-radius:8px; padding:12px 16px; font-size:13px; color:#f7a3a8; line-height:1.6;">
      <b>넘치는 순간 15분의 1로 붕괴.</b> 575W짜리 카드가 47W만 사용합니다. 사람이 읽는 속도(5~10 t/s)에도 못 미치는 사용 불가</div>
  </div>
</div>

<div style="flex:1; min-width:300px; background-color:#1a1b1e; border:1px solid #34383e; border-top:4px solid #00b4d8; border-radius:8px; padding:18px; box-sizing:border-box;">
      <div style="font-size:16px; font-weight:800; color:#00b4d8; margin-bottom:4px;">🧩 분할</div>
      <div style="font-size:12.5px; color:#aaabb0; margin-bottom:14px;">두 장을 합쳐 <b style="color:#ffffff;">대형 모델</b>을 실행</div>
      <div style="background-color:#11202e; border:1px dashed #1e3a5f; border-radius:8px; padding:10px; margin-bottom:12px;">
        <div style="text-align:center; font-size:12.5px; font-weight:bold; color:#9cdcfe; margin-bottom:8px;">대형 모델 하나를 둘로 나눠 적재</div>
        <div style="display:flex; gap:8px;">
          <div style="flex:1; background-color:#0c0d0f; border:2px solid #00b4d8; border-radius:8px; padding:10px 8px; text-align:center;">
            <div style="font-size:10.5px; color:#88898e; margin-bottom:4px; letter-spacing:0.5px;">GPU 0</div>
            <div style="font-size:12px; font-weight:bold; color:#00b4d8; line-height:1.4;">모델 앞부분</div>
          </div>
          <div style="flex:1; background-color:#0c0d0f; border:2px solid #00b4d8; border-radius:8px; padding:10px 8px; text-align:center;">
            <div style="font-size:10.5px; color:#88898e; margin-bottom:4px; letter-spacing:0.5px;">GPU 1</div>
            <div style="font-size:12px; font-weight:bold; color:#00b4d8; line-height:1.4;">모델 뒷부분</div>
          </div>
        </div>
      </div>
      <div style="font-size:12.5px; color:#aaabb0; line-height:1.7;">
        <div>🤖 실행 모델 1개 — 두 카드가 연산을 함께 처리</div>
        <div>✅ 한 장에 안 들어가는 <b style="color:#00b4d8;">대형 모델용</b></div>
      </div>
    </div>

<div style="flex:1; min-width:300px; background-color:#1a1b1e; border:1px solid #34383e; border-top:4px solid #9b5de5; border-radius:8px; padding:18px; box-sizing:border-box;">
      <div style="font-size:16px; font-weight:800; color:#9b5de5; margin-bottom:4px;">👥 분업</div>
      <div style="font-size:12.5px; color:#aaabb0; margin-bottom:14px;">카드마다 <b style="color:#ffffff;">AI 모델을 각각</b> 실행</div>
      <div style="display:flex; gap:8px; margin-bottom:12px;">
        <div style="flex:1; background-color:#11202e; border:1px dashed #1e3a5f; border-radius:8px; padding:10px;">
          <div style="text-align:center; font-size:11.5px; font-weight:bold; color:#9cdcfe; margin-bottom:8px;">텍스트 생성 모델</div>
          <div style="background-color:#0c0d0f; border:2px solid #00b4d8; border-radius:8px; padding:10px 8px; text-align:center;">
            <div style="font-size:10.5px; color:#88898e; margin-bottom:4px; letter-spacing:0.5px;">GPU 0</div>
            <div style="font-size:12px; font-weight:bold; color:#00b4d8; line-height:1.4;">단독 상주</div>
          </div>
        </div>
        <div style="flex:1; background-color:#241129; border:1px dashed #4a2a5f; border-radius:8px; padding:10px;">
          <div style="text-align:center; font-size:11.5px; font-weight:bold; color:#d8b4fe; margin-bottom:8px;">이미지 인식 모델</div>
          <div style="background-color:#0c0d0f; border:2px solid #9b5de5; border-radius:8px; padding:10px 8px; text-align:center;">
            <div style="font-size:10.5px; color:#88898e; margin-bottom:4px; letter-spacing:0.5px;">GPU 1</div>
            <div style="font-size:12px; font-weight:bold; color:#9b5de5; line-height:1.4;">단독 상주</div>
          </div>
        </div>
      </div>
      <div style="font-size:12.5px; color:#aaabb0; line-height:1.7;">
        <div>🤖 실행 모델 2개 — 각 카드가 독립적으로 작동</div>
        <div>✅ 여러 작업 <b style="color:#9b5de5;">동시 처리용</b></div>
      </div>
    </div>

</div>

<div style="background-color:#1d172b; border:1px solid #3d2b5c; border-radius:8px; padding:12px 16px; font-size:13px; color:#b79ced; line-height:1.6; margin-top:16px;">
    ⚡ <b style="color:#ffffff;">고르는 기준은 한 문장씩</b> — 대형 모델 하나의 성능이 필요하면 분할, 여러 작업을 동시에 처리하려면 분업.</div>
</div>

<p></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><span style="font-size: 20px; color: rgb(255, 239, 198);">장점 1 분할 - 두 장을 장착하면 생기는 변화</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    두 번째 카드를 꽂으면 VRAM은 두 장 합쳐 64GB로 늘어납니다. 그리고 반가운 소식 - 필요한 설정이 없습니다. llama.cpp는 카드가 두 장 보이면 레이어를 자동으로 나눠 올립니다. 2장의 명령 그대로, 모델 이름만 바꾸면 끝입니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    한 장에선 붕괴했던 70B가 두 장에서는 초당 35.6토큰 - 쾌적 기준을 여유 있게 넘기는 실용 속도이고 오프로드의 16배입니다. 두 카드가 22.3GB와 21.4GB로 고르게 나눠 가졌고, 대화를 32K까지 쌓아도 초당 28.8토큰을 유지했습니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    그리고 3장의 숙제였던 46.2GB의 Qwen3-Coder-Next는 초당 192.3 토큰으로 구동됐습니다. 듀얼 구성의 이유는 여기에 있습니다. 한 장으로는 실행할 수 없던 더 큰 모델을 돌릴 수 있습니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><div style="max-width:720px; margin:0 auto; border-radius:10px; overflow:hidden; box-shadow:0 8px 24px rgba(0,0,0,0.35); font-family:Consolas,'Courier New',monospace;">
  <div style="background:#3c3c3c; padding:9px 14px;">
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#ff5f57; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#febc2e; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#28c840; margin-right:14px;"></span>
    <span style="color:#cccccc; font-size:13px; font-family:'Malgun Gothic',sans-serif; font-weight:bold;">듀얼 분할 확인 — 두 카드가 70B를 나눠서 구동</span></div>
  <div style="background:#0c0c0c; padding:22px 24px; line-height:1.9; font-size:14px;">
    <div style="color:#6a9955; font-size:13px; margin-bottom:6px;">:: 새 명령 프롬프트 창에서 (서버 창은 그대로 두고)</div>
    <div style="margin-bottom:14px;">
      <span style="color:#cccccc;">C:\llama></span>
      <span style="color:#ffffff; font-weight:bold;"> nvidia-smi</span>
    </div>
    <div style="font-size:12.5px; color:#cccccc; line-height:1.7;">
      <div style="color:#9d9d9d;">+-------------------------------+----------------------+</div>
      <div><span style="color:#9d9d9d;">| </span>GPU  Name<span style="color:#9d9d9d;">                     |        Memory-Usage  |</span></div>
      <div style="color:#9d9d9d;">|===============================+======================|</div>
      <div><span style="color:#9d9d9d;">| </span>0  NVIDIA GeForce RTX 5090<span style="color:#9d9d9d;">   | </span><span style="color:#4fc1ff; font-weight:bold;">22835MiB / 32607MiB</span><span style="color:#9d9d9d;">  |</span></div>
      <div style="color:#9d9d9d;">+-------------------------------+----------------------+</div>
      <div><span style="color:#9d9d9d;">| </span>1  NVIDIA GeForce RTX 5090<span style="color:#9d9d9d;">   | </span><span style="color:#d8b4fe; font-weight:bold;">21914MiB / 32607MiB</span><span style="color:#9d9d9d;">  |</span></div>
      <div style="color:#9d9d9d;">+-------------------------------+----------------------+</div>
    </div>
    <div style="border-top:1px dashed #3c3c3c; margin-top:12px; padding-top:10px; font-size:12.5px; font-family:'Malgun Gothic',sans-serif; color:#9d9d9d; line-height:1.8;">
      별도 설정 없이 <span style="color:#4fc1ff;">GPU 0에 22.3GB</span>, <span style="color:#d8b4fe;">GPU 1에 21.4GB</span> — 39.6GB 모델을 두 카드가 자동 분담했습니다.</div>
  </div>
</div>

<p></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    단, 64GB의 정직한 한계. 저희 실패담 하나를 공유합니다. 총 1,090억 파라미터에 활성 170억인 MoE 모델 <i style="color: rgb(255, 255, 255);">unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF</i> 모델 크기는 60.9GB입니다. 파일 크기만 보면 64GB 안에 들어가고 실제로 적재까지 됐지만, 연산용 작업 공간을 펼 자리가 없어 구동 직전에 멈췄습니다. 버퍼 최소화 옵션으로도 결과는 같았습니다. 실측으로 확정된 경계는 이렇습니다. 명목 64GB의 실전 상한은 파일 기준 약 50GB급. 3장에서 파일 크기를 실제 숫자로 확인하라고 당부한 이유입니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;"><div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 6px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; letter-spacing: -0.5px;"><span style="color: #ffb703; margin-right: 8px;">■</span>듀얼 64GB의 실전 지도 — 스펙과 현실의 경계선
  </div>
  <div style="font-size: 12.5px; color: #88898e; margin-bottom: 26px;">RTX 5090 ×2 = 총 VRAM 65.2GB에 모델 파일을 순차 투입한 실측 결과 · 4비트 양자화(Q4급) · llama.cpp b9994</div>

<div style="position:relative; height:34px; margin: 30px 0 8px 0;">
    <div style="position:absolute; left:0; top:6px; width:100%; height:22px; border-radius:11px; background:linear-gradient(90deg, #0f3d33 0%, #145c4a 60%, #7a5c14 76%, #5c1a20 88%, #5c1a20 100%); border:1px solid #34383e;"></div>
    
    <div style="position:absolute; left:76.7%; top:-6px; width:0; height:46px; border-left:2px dashed #ffb703;"></div>
    
    <div style="position:absolute; left:60.7%; top:1px; width:12px; height:32px; margin-left:-6px; background:#00f5d4; border-radius:3px; box-shadow:0 0 10px #00f5d488;"></div>
    <div style="position:absolute; left:70.9%; top:1px; width:12px; height:32px; margin-left:-6px; background:#00b4d8; border-radius:3px; box-shadow:0 0 10px #00b4d888;"></div>
    <div style="position:absolute; left:93.4%; top:1px; width:12px; height:32px; margin-left:-6px; background:#e63946; border-radius:3px; box-shadow:0 0 10px #e6394688;"></div>
  </div>
  
  <div style="position:relative; height:18px; font-size:11px; color:#88898e; margin-bottom:6px;">
    <span style="position:absolute; left:0;">0</span>
    <span style="position:absolute; left:60.7%; margin-left:-14px; color:#00f5d4;">39.6</span>
    <span style="position:absolute; left:70.9%; margin-left:-14px; color:#00b4d8;">46.2</span>
    <span style="position:absolute; left:76.7%; margin-left:-10px; color:#ffb703; font-weight:bold;">~50</span>
    <span style="position:absolute; left:93.4%; margin-left:-14px; color:#e63946;">60.9</span>
    <span style="position:absolute; right:0;">65.2GB</span>
  </div>
  <div style="text-align:center; font-size:12px; color:#ffb703; margin-bottom:22px;">▲ 점선 = 실전 수용 상한 (연산 작업 공간을 남겨야 하는 한계)</div>

<div style="display:flex; flex-direction:column; gap:10px;">
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-left:5px solid #00f5d4; border-radius:6px; padding:12px 16px; gap:14px; flex-wrap:wrap;">
      <div style="min-width:150px; font-weight:bold; color:#ffffff; font-size:14px;">Llama 3.3 70B <span style="color:#88898e; font-weight:normal; font-size:12px;">39.6GB</span></div>
      <div style="flex:1; min-width:200px; font-size:13px; color:#aaabb0;">✅ 여유 구동 — <span style="color:#00f5d4; font-weight:bold;">35.6 t/s</span>, 두 카드가 22.3+21.4GB 분담</div>
    </div>
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-left:5px solid #00b4d8; border-radius:6px; padding:12px 16px; gap:14px; flex-wrap:wrap;">
      <div style="min-width:150px; font-weight:bold; color:#ffffff; font-size:14px;">Qwen3-Coder-Next <span style="color:#88898e; font-weight:normal; font-size:12px;">46.2GB</span></div>
      <div style="flex:1; min-width:200px; font-size:13px; color:#aaabb0;">✅ 구동 — <span style="color:#00b4d8; font-weight:bold;">192.3 t/s</span>, 점유 48.7GB로 안착</div>
    </div>
    <div style="display:flex; align-items:center; background-color:#1a1b1e; border:1px solid #2d3034; border-left:5px solid #e63946; border-radius:6px; padding:12px 16px; gap:14px; flex-wrap:wrap;">
      <div style="min-width:150px; font-weight:bold; color:#ffffff; font-size:14px;">Llama 4 Scout <span style="color:#88898e; font-weight:normal; font-size:12px;">60.9GB</span></div>
      <div style="flex:1; min-width:200px; font-size:13px; color:#aaabb0;">❌ 구동 불가 — 가중치 적재 후 두 카드 만석(31.4+29.8GB), 연산 공간 확보 실패</div>
    </div>
  </div>
  <div style="background-color:#241d0e; border:1px solid #4a3a14; border-radius:8px; padding:12px 16px; font-size:13px; color:#ffd866; line-height:1.6; margin-top:14px;">
    📌 <b>결론:</b> 명목 64GB의 실전 상한은 모델 파일 기준 <b>약 50GB급</b> — 파일 외에 연산 버퍼와 대화 기억(컨텍스트) 공간이 필요하기 때문입니다.
  </div>
</div>

<p></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: center; line-height: 2; min-height: 30px;"><span style="font-size: 20px; color: rgb(255, 239, 198);">장점 2 분업 - 카드마다 모델 하나씩</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    분할이 두 장을 합쳐 대형 모델 하나를 구동하는 방식이라면, 분업은 반대로 카드마다 서로 다른 모델을 배치하는 방식입니다. 0번 카드의 27B가 보고서를 작성하는 동안 1번 카드의 Gemma가 이미지를 분석하는 구성입니다. 설정의 핵심은 각 모델에 쓸 카드를 지정해 주는 것입니다. 명령 프롬프트 창을 두 개 열고, 창마다 환경변수라는 메모지로 담당 카드를 적어준 뒤 하나씩 실행하면 됩니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><div style="max-width:720px; margin:0 auto; border-radius:10px; overflow:hidden; box-shadow:0 8px 24px rgba(0,0,0,0.35); font-family:Consolas,'Courier New',monospace;">
  <div style="background:#1e3a5f; padding:9px 14px;">
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#ff5f57; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#febc2e; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#28c840; margin-right:14px;"></span>
    <span style="color:#9cdcfe; font-size:13px; font-family:'Malgun Gothic',sans-serif; font-weight:bold;">분업 창 ① — 0번 카드: 텍스트 생성 (Qwen3.6 27B)</span>
  </div>
  <div style="background:#0c0c0c; padding:22px 24px; line-height:1.9; font-size:14px;">
    <div style="color:#6a9955; font-size:13px; margin-bottom:6px;">:: 지정석 배정 — 이 창은 0번 카드 전용 (성공해도 아무 반응 없음, 그게 정상)</div>
    <div style="margin-bottom:14px;">
      <span style="color:#cccccc;">C:\llama></span>
      <span style="color:#ffd866; font-weight:bold;"> set CUDA_VISIBLE_DEVICES=0</span>
    </div>
    <div style="color:#6a9955; font-size:13px; margin-bottom:6px;">:: 첫 번째 AI 실행 — 2장의 그 명령 그대로</div>
    <div style="word-break:break-all;">
      <span style="color:#cccccc;">C:\llama></span>
      <span style="color:#ffffff; font-weight:bold;"> llama-server.exe</span>
      <span style="color:#4fc1ff;"> -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL</span>
      <span style="color:#9d9d9d;"> -ngl 99 -c 8192</span>
      <span style="color:#89d185;"> --port 8080</span>
    </div>
  </div>
  <div style="background:#11202e; padding:10px 24px; font-size:12.5px; color:#9cdcfe; font-family:'Malgun Gothic',sans-serif;">
    🌐 이 AI의 접속 주소 → <b>localhost:8080</b>
  </div>
</div>

<p></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><div style="max-width:720px; margin:0 auto; border-radius:10px; overflow:hidden; box-shadow:0 8px 24px rgba(0,0,0,0.35); font-family:Consolas,'Courier New',monospace;">
  <div style="background:#4a2a5f; padding:9px 14px;">
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#ff5f57; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#febc2e; margin-right:7px;"></span>
    <span style="display:inline-block; width:12px; height:12px; border-radius:50%; background:#28c840; margin-right:14px;"></span>
    <span style="color:#d8b4fe; font-size:13px; font-family:'Malgun Gothic',sans-serif; font-weight:bold;">분업 창 ② — 1번 카드: 이미지 인식 (Gemma 4 12B) <span style="color:#ff8f8f;">※ 반드시 새 창!</span></span>
  </div>
  <div style="background:#0c0c0c; padding:22px 24px; line-height:1.9; font-size:14px;">
    <div style="color:#6a9955; font-size:13px; margin-bottom:6px;">:: 새 명령 프롬프트 창을 열고 — 이 창은 1번 카드 전용</div>
    <div style="margin-bottom:14px;">
      <span style="color:#cccccc;">C:\llama></span>
      <span style="color:#ffd866; font-weight:bold;"> set CUDA_VISIBLE_DEVICES=1</span>
    </div>
    <div style="color:#6a9955; font-size:13px; margin-bottom:6px;">:: 두 번째 AI 실행 — 모델과 문패(port)만 다르게</div>
    <div style="word-break:break-all;">
      <span style="color:#cccccc;">C:\llama></span>
      <span style="color:#ffffff; font-weight:bold;"> llama-server.exe</span>
      <span style="color:#4fc1ff;"> -hf unsloth/gemma-4-12b-it-GGUF:Q4_K_M</span>
      <span style="color:#9d9d9d;"> -ngl 99 -c 8192</span>
      <span style="color:#89d185;"> --port 8081</span>
    </div>
  </div>
  <div style="background:#241129; padding:10px 24px; font-size:12.5px; color:#d8b4fe; font-family:'Malgun Gothic',sans-serif;">
    🌐 이 AI의 접속 주소 → <b>localhost:8081</b>  |  기존 창을 재사용하면 두 모델이 같은 카드에 몰리는 사고가 납니다
  </div>
</div>

<p></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    set 명령은 성공해도 아무 반응이 없는데 그게 정상이고, 주의점은 하나 - 메모지는 창마다 따로 붙어서 반드시 새 창이어야 합니다. 이제 브라우저 탭 두 개(8080, 8081)에 각 모델이 대기하고 있습니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    그렇다면 "동시에 사용하면 서로 느려지지 않나?" 측정해 봤습니다. 단독 실행 대비 동시 실행의 성능 유지율은 27B가 99.4%, Gemma가 100.5%로, 손실이 측정 오차 범위에 그쳤습니다. 분할과 달리 분업은 두 카드가 대화할 일 자체가 없어 서로의 속도를 갉아먹을 통로가 존재하지 않기 때문입니다.</p><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;">  <div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 6px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; letter-spacing: -0.5px;">
    <span style="color: #00f5d4; margin-right: 8px;">■</span>단독 vs 동시 실행
  </div>
  <div style="font-size: 12.5px; color: #88898e; margin-bottom: 24px;">GPU 0에 LLM, GPU 1에 VLM을 각각 상주시키고 양쪽에 동시 질문 · 4비트 양자화 · llama.cpp b9994 · 본지 실측</div>
  <div style="margin-bottom:22px;">
    <div style="display:flex; justify-content:space-between; align-items:baseline; margin-bottom:8px; flex-wrap:wrap;">
      <span style="font-size:14px; font-weight:bold; color:#ffffff;">Qwen3.6 27B <span style="color:#88898e; font-weight:normal; font-size:12px;">GPU 0 · 텍스트 생성</span></span>
      <span style="font-size:17px; font-weight:900; color:#00f5d4;">유지율 99.4%</span>
    </div>
    <div style="display:flex; align-items:center; gap:10px; margin-bottom:6px;">
      <span style="width:44px; font-size:11.5px; color:#88898e; text-align:right;">단독</span>
      <div style="flex:1; height:24px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:51.3%; height:100%; background:linear-gradient(90deg,#52565e,#88898e); border-radius:5px;"></div></div>
      <span style="width:78px; font-size:13px; color:#aaabb0; font-weight:bold;">74.7 t/s</span>
    </div>
    <div style="display:flex; align-items:center; gap:10px;">
      <span style="width:44px; font-size:11.5px; color:#00f5d4; text-align:right;">동시</span>
      <div style="flex:1; height:24px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:51.0%; height:100%; background:linear-gradient(90deg,#00b4d8,#00f5d4); border-radius:5px; box-shadow:0 0 12px #00f5d444;"></div></div>
      <span style="width:78px; font-size:13px; color:#00f5d4; font-weight:bold;">74.3 t/s</span>
    </div>
  </div>
  <div style="margin-bottom:22px;">
    <div style="display:flex; justify-content:space-between; align-items:baseline; margin-bottom:8px; flex-wrap:wrap;">
      <span style="font-size:14px; font-weight:bold; color:#ffffff;">Gemma 4 12B <span style="color:#88898e; font-weight:normal; font-size:12px;">GPU 1 · 이미지 인식</span></span>
      <span style="font-size:17px; font-weight:900; color:#9b5de5;">유지율 100.5%</span>
    </div>
    <div style="display:flex; align-items:center; gap:10px; margin-bottom:6px;">
      <span style="width:44px; font-size:11.5px; color:#88898e; text-align:right;">단독</span>
      <div style="flex:1; height:24px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:99.5%; height:100%; background:linear-gradient(90deg,#52565e,#88898e); border-radius:5px;"></div></div>
      <span style="width:78px; font-size:13px; color:#aaabb0; font-weight:bold;">144.9 t/s</span>
    </div>
    <div style="display:flex; align-items:center; gap:10px;">
      <span style="width:44px; font-size:11.5px; color:#9b5de5; text-align:right;">동시</span>
      <div style="flex:1; height:24px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:100.0%; height:100%; background:linear-gradient(90deg,#00b4d8,#9b5de5); border-radius:5px; box-shadow:0 0 12px #9b5de544;"></div></div>
      <span style="width:78px; font-size:13px; color:#9b5de5; font-weight:bold;">145.7 t/s</span>
    </div>
  </div>
  <div style="background-color:#142c22; border:1px solid #1f4736; border-radius:8px; padding:12px 16px; font-size:13px; color:#75e6da; line-height:1.6;">
    ⚡ 두 모델을 동시에 가동해도 손실 사실상 0 — 분할과 달리 분업은 카드끼리 대화할 일이 없어, 서로의 속도를 갉아먹을 통로 자체가 존재하지 않습니다. 동시 풀가동 시 GPU 전력 합은 약 985W.</div></div><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    분할이냐 분업이냐 - 기준은 간단합니다. 대형 모델 하나의 성능이 필요하면 분할, 여러 작업을 동시에 처리하려면 분업. 둘 중 하나만 골라야 하는 것도 아니라, 그날의 작업에 맞춰 명령어 몇 줄로 오갈 수 있습니다.</p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><a id="p5"></a></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 24px; color: rgb(255, 255, 255);">5. 자주 나오는 질문들 (실측 Q&A)</span></p><p style="text-align: center; "><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="color: rgb(255, 153, 0);">Q1. </span><span style="color: rgb(255, 255, 255);">파워는 몇 W가 필요할까?</span><span style="font-size: 12pt;"></span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    결론부터 말하면 1,600W급입니다. 가장 혹독한 조건인 70B 듀얼 분할에서 그래픽카드 두 장의 소비전력 합계가 1,053W였습니다. 여기에 CPU와 나머지 부품을 더하면 시스템 전체는 1.2kW급, 순간적으로 치솟는 부하까지 견딜 여유를 얹으면 1,600W가 안전한 선입니다. 전력 공급 방식도 함께 확인하세요. 각 카드에 네이티브 16핀<span style="font-size: 14px; color: rgb(156, 156, 148);">(12V-2x6)</span> 케이블을 꽂는 것이 가장 깔끔하지만, 8핀 PCIe를 16핀으로 바꾸는 어댑터로도 연결할 수 있습니다. 후자라면 파워의 8핀 출력이 두 카드를 감당할 만큼 넉넉한지 따져보면 됩니다.</p></td></tr></tbody></table></div><div style="font-family: 'NanumBarunGothic', 'Apple SD Gothic Neo', sans-serif; max-width: 800px; width: 100%; margin: 30px auto; box-sizing: border-box; background: linear-gradient(145deg, #141517, #1b1c1e); color: #e3e3e6; border-radius: 16px; padding: 28px; border: 1px solid #2d3034; box-shadow: 0 10px 30px rgba(0,0,0,0.5); text-align: left;">  <div style="font-size: 20px; font-weight: 800; color: #ffffff; margin-bottom: 6px; padding-bottom: 12px; border-bottom: 2px dashed #3a3d42; letter-spacing: -0.5px;">
    <span style="color: #ffb703; margin-right: 8px;">■</span>상태별 GPU 실측 소비전력
  </div>
  <div style="font-size: 12.5px; color: #88898e; margin-bottom: 24px;">각 구동 상태에서 nvidia-smi로 실측한 GPU 소비전력 (시스템 전체 아님) · 본지 실측</div>
  <div style="margin-bottom:6px;">
    <div style="display:flex; align-items:center; gap:10px; margin-bottom:8px;">
      <div style="width:190px; font-size:12.5px; color:#aaabb0; text-align:right; line-height:1.3;">대기 (모델 상주)<br><span style="font-size:10.5px; color:#6b6c72;">카드당 · AI를 켜둔 채 방치</span></div>
      <div style="flex:1; height:22px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:1.7%; height:100%; background:#3a5f4a; border-radius:5px;"></div></div>
      <div style="width:70px; font-size:13px; color:#e3e3e6; font-weight:bold;">22~28W</div>
    </div>
    <div style="display:flex; align-items:center; gap:10px; margin-bottom:8px;">
      <div style="width:190px; font-size:12.5px; color:#aaabb0; text-align:right; line-height:1.3;">오프로드 (붕괴 상태)<br><span style="font-size:10.5px; color:#6b6c72;">시스템 메모리로 연산이 넘어간 상태</span></div>
      <div style="flex:1; height:22px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:3.3%; height:100%; background:#5c2429; border-radius:5px;"></div></div>
      <div style="width:70px; font-size:13px; color:#e3e3e6; font-weight:bold;">47~54W</div>
    </div>
    <div style="display:flex; align-items:center; gap:10px; margin-bottom:8px;">
      <div style="width:190px; font-size:12.5px; color:#aaabb0; text-align:right; line-height:1.3;">단일 추론 — MoE<br><span style="font-size:10.5px; color:#6b6c72;">Qwen3.6 35B-A3B</span></div>
      <div style="flex:1; height:22px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:24.7%; height:100%; background:#00b4d8; border-radius:5px;"></div></div>
      <div style="width:70px; font-size:13px; color:#e3e3e6; font-weight:bold;">395W</div>
    </div>
    <div style="display:flex; align-items:center; gap:10px; margin-bottom:8px;">
      <div style="width:190px; font-size:12.5px; color:#aaabb0; text-align:right; line-height:1.3;">단일 추론 — dense<br><span style="font-size:10.5px; color:#6b6c72;">Qwen3.6 27B</span></div>
      <div style="flex:1; height:22px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:32.9%; height:100%; background:#0077a8; border-radius:5px;"></div></div>
      <div style="width:70px; font-size:13px; color:#e3e3e6; font-weight:bold;">526W</div>
    </div>
    <div style="display:flex; align-items:center; gap:10px; margin-bottom:8px;">
      <div style="width:190px; font-size:12.5px; color:#aaabb0; text-align:right; line-height:1.3;">분업 동시 (2카드 합)<br><span style="font-size:10.5px; color:#6b6c72;">27B + Gemma 4 동시 가동</span></div>
      <div style="flex:1; height:22px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:61.6%; height:100%; background:#9b5de5; border-radius:5px;"></div></div>
      <div style="width:70px; font-size:13px; color:#e3e3e6; font-weight:bold;">985W</div>
    </div>
    <div style="display:flex; align-items:center; gap:10px; margin-bottom:8px;">
      <div style="width:190px; font-size:12.5px; color:#aaabb0; text-align:right; line-height:1.3;">듀얼 분할 (2카드 합)<br><span style="font-size:10.5px; color:#6b6c72;">Llama 3.3 70B</span></div>
      <div style="flex:1; height:22px; background:rgba(255,255,255,0.04); border-radius:5px;"><div style="width:65.8%; height:100%; background:#ffb703; border-radius:5px;"></div></div>
      <div style="width:70px; font-size:13px; color:#ffb703; font-weight:900;">1,053W</div>
    </div>
  </div>
  <div style="background-color:#241d0e; border:1px solid #4a3a14; border-radius:8px; padding:12px 16px; font-size:13px; color:#ffd866; line-height:1.6; margin-top:16px;">
    📌 위 수치는 GPU만의 소비전력입니다. 듀얼 분할에서도 GPU 합계는 1,053W이며, CPU와 나머지 부품을 더한 시스템 전체는 약 1.2kW급입니다. 반전은 대기 전력으로, 모델을 하루 종일 올려둬도 카드당 22~28W에 머뭅니다.
  </div>
</div><p style="text-align: center; "><br></p><p style="text-align: center; "><br></p><p style="text-align: center; "></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="color: rgb(255, 156, 0);">Q2.</span> <span style="color: rgb(255, 255, 255);">전기요금이 많이 나오지 않을까요?</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    답변을 뽑는 순간에는 확실히 많이 씁니다. Dense 모델을 풀가동하면 카드당 500W를 넘고, 두 장이면 순간 1kW를 웃돌죠. 다만 그게 24시간 내내는 아닙니다. LLM은 질문을 받아 답을 생성하는 몇 초 동안만 전력을 끌어올리고, 답을 읽거나 다음 질문을 입력하는 대부분의 시간에는 대기 상태로 내려앉습니다. 이 대기 전력이 카드당 22~28W 정도로 모델을 하루 종일 띄워놔도 실제 소비는 이 낮은 구간에 머무는 시간이 훨씬 깁니다. 게다가 MoE 모델은 생성 순간의 전력마저 Dense보다 130W쯤 낮습니다. 요약하면, 최대 전력은 높지만 실사용 전기요금을 좌우하는 건 '얼마나 자주, 얼마나 오래 생성하느냐'입니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="color: rgb(255, 156, 0);">Q3.</span> <span style="color: rgb(255, 255, 255);">서버용 부품</span><span style="font-size: 14px; color: rgb(156, 156, 148);">(ECC·스레드리퍼)</span><span style="color: rgb(255, 255, 255);">이 필요하지 않나요?</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    아닙니다. 이 리뷰의 테스트 시스템이 곧 답입니다. 라이젠 9 9950X에 일반 데스크톱 DDR5 64GB, 그것도 4-DIMM 탓에 3,600MT/s로 작동하는 조건에서 이 모든 수치가 나왔습니다. 추론의 무대는 VRAM이라 시스템 메모리 사양은 크게 중요치 않습니다. 모델을 직접 학습시키거나 무결성이 생명인 작업이 아니라면, 쓰는 쪽은 일반 PC로 충분합니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><span style="color: rgb(255, 156, 0);">Q4.</span> <span style="color: rgb(255, 255, 255);">그래서, 이 비용을 들일 가치가 있나요?</span></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    RTX 5090 두 장 구성은 분명 비쌉니다. 그만한 값어치가 있는지는 얼마나 자주, 무엇에 쓰는지에 따라 사람마다 다를 테니, 비용 계산은 각자의 몫으로 남겨두겠습니다. 다만 로컬만이 주는 성격은 분명합니다. 첫째, 비용을 예측할 수 있습니다. 클라우드처럼 사용량에 따라 요금이 오르내리지 않고, 첫 투자 이후로는 들어갈 돈이 고정됩니다. 둘째, 모델을 내 것으로 다듬을 여지가 열려 있습니다. 남의 서버에서 정해진 대로 쓰는 대신, 파인튜닝을 거쳐 내 업무와 문체에 맞게 최적화하는 길까지 손에 쥘 수 있습니다. 그리고 이 모든 것의 바탕에 데이터가 있습니다. 기밀 문서를 몇 번을 읽혀도, 회사 코드를 통째로 넣어도 밖으로 나가는 일이 없습니다. 빌려 쓰는 지능이 아니라 내가 소유하고 통제하는 지능, 이 가치만큼은 요금표로 환산되지 않습니다.</p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><a id="p6"></a></p><p><br></p><p><br></p><p><br></p><p style="text-align: center; "><span style="font-size: 24px; color: rgb(255, 255, 255);">6. 마치며: 이제 지능을 소유할 차례</span></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2026/07/21/435dc2e375dbfabf4e9cb533ea13005d.jpg" alt="퀘이사존"><br></p><p><br></p><div align="center"><table align="center" class="__se_tbl" style="border-width: 1px 1px 0px 0px; border-style: dashed dashed none none; border-color: rgb(199, 199, 199) rgb(199, 199, 199) currentColor currentColor;width:800px;max-width: 100%" border="1" cellspacing="0" cellpadding="0" attr_no_border_tbl="1"><tbody><tr><td width="800" style="border-width: 0px 0px 1px 1px; border-style: none none dashed dashed; border-color: currentColor currentColor rgb(199, 199, 199) rgb(199, 199, 199);"><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    40여 년 전, 컴퓨터는 기관의 전산실에만 있는 물건이었습니다. 계산이 필요한 사람은 단말기 앞에서 순서를 기다렸고, 사용한 시간만큼 비용을 치렀습니다. 그 질서를 무너뜨린 물건에 사람들은 '개인용 컴퓨터'라는 이름을 붙였습니다. 지금 보면 밋밋한 단어지만, 계산하는 능력을 기관의 전유물에서 개인의 책상 위로 가져오겠다는 선언이 그 이름에 담겨 있었습니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    지능이 지금 같은 갈림길에 서 있습니다. 클라우드 AI는 분명 더 똑똑하고, 솔직해지자면 당분간 그럴 겁니다. 다만 그 지능은 빌린 것입니다. 질문 하나하나가 어딘가의 서버로 건너가고, 요금제가 바뀌면 조건이 바뀌고, 서비스가 개편되면 어제까지 손발을 맞추던 모델이 하루아침에 다른 인격으로 교체됩니다. 우리는 편리함의 대가로 지능의 소재지를 묻지 않기로 한 셈입니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    그런데 두 장의 카드 위에서 초당 수백 개의 토큰이 쏟아지는 것을 지켜보는 동안, 벤치마크 표에 적히지 않는 감각이 하나 남았습니다. 이 지능은 어디로도 전송되지 않고, 누구에게도 과금되지 않으며, 인터넷이 끊겨도 사라지지 않습니다. SSD에 담긴 모델 파일은 약관이 바뀐다고 회수되지 않고, 오늘의 동료가 내일 다른 인격이 되는 일도 없습니다. 기밀 문서를 몇 번을 읽혀도, 그 내용이 밖으로 나갈 일은 없습니다.</p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px"><br></p><p align="justify" style="text-align: justify; line-height: 2;min-height: 30px">    빌려 쓰는 지능과 소유하는 지능 가운데 어느 쪽이 더 똑똑한지는 벤치마크가 답하지만, 어느 쪽이 내 것인지는 이미 답이 나와 있습니다. 개인용 컴퓨터라는 말이 선언에서 일상어가 되기까지 한 세대가 걸렸고, 개인용 지능이라는 말은 아마 그보다 빠를 겁니다. 그 미래를 앞당기는 데 필요한 것은, 지금 명령어 한 줄뿐입니다.</p></td></tr></tbody></table><p style="line-height: 2;"></p></div><p><br></p><p><br></p><p><br></p><p></p><p></p><p></p></b>