NVIDIA는 오늘 RTX와의 채팅의 첫 번째 공개 데모를 출시했습니다. 아니요, 그래픽 카드와 대화하며 "어떻게 지내세요?"라고 물어볼 수는 없습니다. 이를 위해서는 TechPowerUp GPU-Z가 필요합니다. RTX와의 채팅은 차원이 다릅니다. 완전히 현지화된 AI 채팅이 전적으로 PC에서 실행되고, GeForce RTX 그래픽 카드의 고성능 코어로 가속화되며, 클라우드 기반 채팅 서버로 쿼리를 보내지 않는다고 상상해 보세요. 바로 Chat with RTX입니다. 이 기술은 모든 지식을 PC에 로컬로 저장하고 두뇌 역할을 하는 GeForce RTX GPU를 사용하는 ChatGPT를 대체하기 위해 NVIDIA에서 개발 중입니다.
2024년은 업계 선두주자인 Microsoft와 Intel이 "AI PC의 해"가 될 것으로 예상하는 가운데, NVIDIA는 AI 가속 분야에서 6년이라는 놀라운 성과를 거두었습니다. 이 회사는 RTX 실시간 레이 트레이싱 기술을 위한 온디바이스 가속 AI를 도입했습니다. 이러한 혁신의 일환으로 2017년형 GeForce RTX GPU에는 텐서 코어가 탑재되었습니다. 이러한 구성 요소는 CUDA 코어만 사용할 때보다 AI 딥 러닝 신경망(DNN) 구축 및 훈련 속도를 크게 향상시켰습니다. 이러한 발전은 성능 면에서 상당한 도약을 의미하며, AI 기반 작업에 대한 GPU의 기능을 향상시켰습니다. 노이즈 제거기 외에도 NVIDIA는 AI 가속을 활용하여 DLSS 성능 향상 기능을 구동합니다. 게임 성능을 최대로 끌어올릴 수 없나요? DLSS를 활성화하고 사전 설정 중 하나를 선택하면 원하는 설정에서 게임을 플레이할 수 있습니다.
출처 : TECHPOWERUP
최근 엔비디아와의 대화에서 엔비디아는 NPU(신경 처리 장치)를 도입한 인텔과 AMD의 최신 프로세서가 NPU 자체의 성능 수치가 10~16 TOPS, 전체 칩(NPU + CPU + iGPU)의 경우 40 TOPS를 넘지 않는다고 밝히며 그다지 인상적이지 않다는 점을 분명히 했습니다. 반면, 텐서 코어가 탑재된 NVIDIA GeForce RTX GPU는 NVIDIA가 GPU 실리콘에 AI 가속을 배치한 엄청난 규모로 인해 이보다 20배에서 100배(!)의 성능을 제공하는 경향이 있습니다.
CPU 기반 NPU는 단순한 텍스트 기반 및 가벼운 이미지 기반 생성 AI 작업을 구동하기 위한 것이지만, NVIDIA는 현재도 다른 수준의 AI를 통합하고 있습니다. DLSS 3 프레임 생성에서 모든 대체 프레임을 생성하거나 해상도에 따라 4K 게임 내 장면을 60+ FPS로 노이즈 제거한다고 생각하면 됩니다. 간단히 말해, GeForce RTX GPU에는 게임을 하지 않을 때는 휴면 상태로 남는 엄청난 양의 AI 가속 하드웨어 리소스가 있으며, NVIDIA는 이 하드웨어를 활용하여 게이머가 완전히 현지화된 제너레이티브 AI 도구를 실행할 수 있음을 보여주기 위해 노력해 왔습니다.
이 프로젝트는 이제 막 시작 단계에 있으며, 그 첫 번째 프로젝트 중 하나가 바로 오늘 프리뷰 빌드를 검토 중인 Chat with RTX입니다. NVIDIA는 수백만 명의 게이머를 비롯한 방대한 설치 기반을 보유하고 있으며, 가까운 미래에 GeForce RTX GPU를 탑재한 PC를 위한 추가적인 AI 기반 경험과 생산성 도구를 제공함으로써 AI PC 생태계에서 보다 적극적인 역할을 수행할 것으로 기대합니다.
앞서 말했듯이 Chat with RTX는 텍스트 기반의 생성형 AI 플랫폼(일종의 ChatGPT 또는 Copilot)이지만, 데이터를 클라우드 서버로 전송하거나 웹 기반 데이터 세트를 사용하지 않습니다. 데이터 세트는 사용자가 제공하는 모든 것입니다. 심지어 라마2와 미스트랄 중에서 AI 모델을 유연하게 선택할 수 있습니다. Chat with RTX의 기술 데모를 위해 NVIDIA는 2022년 중반까지 업데이트되는 기본 데이터 세트와 함께 Llama2와 Mistral을 모두 제공했습니다.
이 기사에서는 게이머에게 강력한 완전 오프라인 AI 채팅을 제공할 수 있는 잠재력을 보여드리기 위해 Chat with RTX를 직접 시연해 보았습니다.
AI 채팅의 모든 지식을 로컬에 저장하려면 수십 기가바이트의 데이터가 필요합니다. 따라서 Chat with RTX 여정은 NVIDIA에서 35.1GB의 대용량 인스톨러를 다운로드하는 것으로 시작됩니다. 이는 zip 파일로 제공되며 데이터 세트 자체는 압축률이 높습니다. 콘텐츠의 압축을 폴더에 풀고 나면 인스톨러 실행 파일을 실행합니다.
하지만 이 작업을 수행하기 전에 시스템 요구 사항을 충족하는지 확인하세요: 최소 8GB의 비디오 메모리를 갖춘 GeForce RTX 30 시리즈 "Ampere" 또는 RTX 40 시리즈 "Ada" GPU. 어떤 이유로 현재 RTX 20 시리즈 "Turing"은 지원되지 않습니다. 100GB의 디스크 공간, 가급적 SSD(HDD에서는 설치가 훨씬 더 까다롭기 때문에) - 확인했습니다. Windows 11 또는 Windows 10 최신 NVIDIA 그래픽 드라이버
출처 : TECHPOWERUP
RTX와 함께하는 채팅 설치 프로그램은 GeForce 드라이버 설치 프로그램과 매우 유사합니다. 다운로드된 애플리케이션의 35GB 크기 외에도, 설치 관리자는 Chat with RTX가 작동하는 데 필요한 추가 종속성을 가져옵니다. 컴퓨터에 이미 설치되어 있는 종속 요소에 따라 이러한 종속 요소는 몇 기가바이트의 데이터를 추가로 다운로드하게 됩니다(NVIDIA는 100GB를 따로 확보해 달라고 요청했습니다). 여기에는 거의 10GB에 달하는 Python 및 Anaconda 관련 종속성이 포함됩니다. 설치 과정을 최대한 쉽게 만들고 다른 생성 AI 도구를 컴퓨터에 설치하는 것만큼 복잡해 보이지 않도록 의식적으로 노력했습니다.
Chat with RTX의 설치 용량은 69.1GB이며, 이 중 6.5GB는 Python 기반 Anaconda 환경용입니다. LLama2와 미스트랄 모델은 각각 31GB와 17GB를 차지하며, 나머지는 기타 파이썬 관련 라이브러리(예, 10GB)입니다.
16GB 이상의 비디오 메모리가 있는 GeForce RTX GPU를 사용하는 사용자의 경우 설치 관리자에서 Llama2 및 Mistral AI 모델을 모두 설치하도록 제안합니다. 비디오 메모리가 8GB 또는 12GB인 사용자에게는 미스트랄만 제공합니다. 이는 Llama2 모델과 해당 데이터 세트가 막대한 양의 비디오 메모리를 사용하기 때문입니다. 하지만 설치 프로그램 실행 파일의 하위 폴더에 있는 설치 프로그램의 구성 파일을 편집하여 이 제한을 무시할 수 있습니다(자세한 안내가 필요한 경우 댓글로 문의하세요).
설치가 끝나면 설치 프로그램이 Windows 데스크톱에 바로 가기를 배치하고 애플리케이션을 시작하도록 제안합니다. 이 바로가기를 만들지 않으면 초보자가 실행 방법을 찾지 못해 헤매게 되므로 이 단계에서 바로가기를 만들어 애플리케이션을 실행하도록 하는 것이 좋습니다. 기본적으로 RTX와의 채팅은 AppData 폴더에 설치됩니다. 어떤 이유로든 설치 프로그램이 데스크톱 바로 가기를 만들지 못했거나 잃어버린 경우, "%LOCALAPPDATA%\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\app_launch.bat" Windows 배치 파일을 실행하여 애플리케이션을 시작할 수 있습니다.
출처 : TECHPOWERUP
이 배치 파일을 실행하면 CMD 셸 창이 나타나고 애플리케이션이 기존 데이터를 빌드하고 로드합니다. 이 과정은 30초에서 1분 정도 소요되며, AI 모델을 실행하기 위해 그래픽 카드의 비디오 메모리를 약 6~8GB 할당하므로 게임이나 그래픽 벤치마킹은 하지 마세요. 하지만 동영상 재생(YouTube)에는 문제가 없었습니다.
대부분의 최신 생성 AI 도구와 마찬가지로 Chat with RTX는 서비스 클라이언트 애플리케이션으로, Chat with RTX 서비스 세션이 진행 중이므로 CMD 셸 창이 백그라운드에서 실행 중이어야 합니다. 애플리케이션의 프런트엔드는 웹 브라우저 기반입니다. 서비스가 실행 중인 상태에서 브라우저에서 "http://127.0.0.1:1088/?__theme=dark"를 가리키면 애플리케이션의 프런트엔드가 실행됩니다. 포트 번호는 임의의 것으로 보이며, 시작 후 CMD 셸 창에 표시됩니다.
출처 : TECHPOWERUP
이것이 바로 RTX와의 채팅 애플리케이션입니다. 기본적으로 NVIDIA 기술 데모 AI 모델과 RTX 마케팅 자료의 작은 데이터 세트가 로드됩니다. 다양한 NVIDIA RTX 기능과 관련된 질문을 할 수 있습니다. 빠른 텍스트 응답과 함께 참조한 정확한 텍스트 파일에 대한 링크가 제공됩니다. "AI 모델 선택" 드롭다운을 사용하여 이 모델, Llama2, 미스트랄을 전환할 수 있습니다. 기본적으로 선택한 AI 모델과 함께 약 16~17GB 크기의 2022년 중반 업데이트된 데이터 세트가 제공되므로 거의 모든 것에 대해 이야기할 수 있습니다. GPT 3.5에서는 데이터 세트가 포괄적이지 않으며, 일부 응답은 ChatGPT만큼 철저하게 조사되지 않았습니다.
하지만 이것이 전부는 아닙니다. NVIDIA의 진정한 강점은 일반 텍스트(.txt)나 Word 또는 PDF 형식의 문서 등 어떤 크기의 데이터든 Chat with RTX에 입력할 수 있으며, 이를 통해 학습할 수 있다는 점입니다. 저희는 하드웨어 기술 마스터마인드 AI를 구축하기 위해 테크파워업에 게시된 모든 뉴스 기사를 제공했습니다. 이를 위해서는 모든 뉴스 게시물을 텍스트 파일로 내보내야 했기 때문에 약간의 추가 코딩 작업이 필요했습니다. 이는 약 6만 개의 기사에 대한 일반 텍스트로 약 250MB의 데이터입니다. 이 애플리케이션은 이 데이터로 스스로 학습하는 데 GeForce RTX 4080에서 약 한 시간이 걸렸고, 컴퓨터 하드웨어 및 기술과 관련된 질문에 답하기 시작했습니다.
6만 개의 뉴스 기사로 Chat with RTX를 학습시킨 후 퀴즈를 내기 시작했습니다. 나열된 질문 중 어떤 것도 의도적으로 인공지능에게 어렵게 만든 것은 없었습니다. 그저 "이걸로 무엇을 물어볼 수 있을까?"라고 생각했을 뿐입니다. 먼저 랩터 레이크의 캐시 용량을 묻는 질문으로 시작했는데, 프로세서 모델을 언급하지 않았기 때문에 다소 모호한 질문이었습니다. 그 결과 68MB, L3 캐시 36MB, L2 캐시 32MB라는 정답이 나왔습니다(8P+16E 랩터 레이크-S 실리콘의 P코어에는 2MB L2 8개, E코어 클러스터에는 4MB 4개). 그리고 이 정보를 가져온 텍스트 파일에 대한 링크로 답변을 마무리합니다. 뉴스 게시물의 문장을 복사하여 붙여넣는 것이 아니라, 보이는 정보를 바탕으로 자연어 답변을 작성하는 것이 분명합니다.
다음은 또 다른 예로, 2022년에 출시되는 GeForce RTX 4080 SUPER가 기존 RTX 4080과 어떻게 다른지 묻는 질문입니다. 대부분의 정보는 정확하지만 TGP가 450W로 잘못 기재되어 있습니다. 원래 기사에서는 이것이 실제 전력 제한이 아닌 케이블 구성의 이론적 제한임을 매우 명확하게 밝히고 있습니다.
이러한 답변은 언뜻 보기에는 그럴듯해 보이지만 교육받은 독자에게는 거의 의미가 없는데, 이것이 바로 인공지능이 생성한 텍스트의 가장 큰 위험 중 하나입니다.
현재 상태에서는 RTX와의 채팅에서 원래 질문에 대한 후속 질문을 연결할 수 없습니다. 이는 NVIDIA의 리뷰어 가이드에 언급되어 있으므로 예상치 못한 일은 아닙니다.
다음으로 실생활에서 마주칠 수 있는 몇 가지 쿼리를 입력하기 시작했는데, 여기서는 상황이 그리 좋지 않습니다.
일부 정답은 명백히 틀렸습니다. 하지만 여기에서도 언뜻 보기에는 매우 신빙성이 있어 보입니다.
RTX로 채팅하기 애플리케이션의 흥미로운 기능은 YouTube 동영상과 관련된 질문을 해석하고 답변하는 기능입니다. YouTube 동영상 URL 또는 재생 목록 링크를 입력하면 데이터를 색인화하여 질문에 답변할 수 있습니다. 매우 인상적입니다!
실제로 작동하는 방식은 다음과 같습니다. YouTube 동영상을 가리키면 YouTube에서 제공하는 영어 자막(CC) 파일을 찾습니다. 이 애플리케이션은 동영상의 오디오/비디오 스트림을 해석하지도 않고, 이미지 인식이나 텍스트 음성 변환도 전혀 수행하지 않으며, 단지 YT에서 다운로드한 CC 파일을 기반으로 질문에 답할 뿐입니다. 의심할 여지 없이 환상적인 아이디어이며 긴 동영상에서 정보를 훨씬 쉽게 압축할 수 있습니다. 일부 쿼리에서는 답변에 "[음악]"과 같은 SDH 단서가 포함되어 있는 것을 볼 수 있습니다.
전반적으로 저희는 RTX를 통한 채팅의 가능성과 잠재력에 깊은 인상을 받았습니다. 이는 Llama2와 미스트랄의 기본 데이터 세트뿐만 아니라 거의 모든 정보와 상호 작용하는 데 매우 유용할 것입니다. 위키피디아의 모든 정보를 스크러빙하여 원하는 모든 것에 대해 바로 답을 얻을 수 있다고 상상해 보세요. 특히 학생과 대학생에게 주는 혜택은 무궁무진합니다. Chat with RTX의 가장 큰 장점은 초기 다운로드 후 완전히 오프라인으로 작동하기 때문에 인터넷이 다운되어도 작동할 뿐만 아니라 데이터가 PC를 떠나지 않는다는 것입니다.
제게는 이 점이 가장 큰 장점입니다. 데이터는 소중하다는 것은 누구나 알고 있는 사실입니다. AI에 피드백을 제공하는 사람이 생성한 데이터는 훨씬 더 가치가 있으며, 이것이 제가 대부분의 AI 경험이 클라우드에 연결될 것이라고 믿는 이유 중 하나입니다. 회사의 귀중한 AI 알고리즘은 절대로 사용자의 PC에 도달하지 않으며, 이는 정교한 데이터 분석을 용이하게 할 뿐만 아니라 개인 정보 보호에도 중대한 영향을 미칩니다. 사용자는 민감한 데이터를 처리하기 위해 외부 서버에 맡겨야 하므로 잠재적인 침해나 무단 액세스에 대한 우려가 제기됩니다. 또한 클라우드에서 이러한 알고리즘을 직접 제어할 수 없기 때문에 사용자가 자신의 데이터가 어떻게 활용되고 보호되는지 알 수 없기 때문에 개인정보 보호 위험이 발생할 수 있습니다. 클라우드 컴퓨팅에 대한 이러한 의존도는 고급 AI 기능 활용과 개인의 개인정보 보호 권리 보호 사이의 미묘한 균형을 강조합니다.
이러한 클라우드 중심의 AI 배포는 AI에 최적화된 칩을 판매하고자 하는 하드웨어 공급업체에도 영향을 미칩니다. 최근 출시된 Intel Meteor Lake 및 AMD Ryzen 8000G와 같은 프로세서는 AI를 위한 하드웨어 지원을 도입했습니다. 이러한 프로세서는 NVIDIA RTX 그래픽 카드와 같은 수준의 AI 컴퓨팅 성능을 제공하지는 않지만, 칩 설계자가 AI 트렌드에 대응하기 위해 상당한 실리콘 면적을 투자하고 있음을 보여줍니다. 이러한 모든 공급업체에게 소프트웨어 개발자가 로컬 하드웨어에서 자사 모델을 실행하도록 설득하는 것은 어려운 일이므로, NVIDIA는 오픈 소스인 Chat with RTX에 투자하고 있다고 생각합니다.
거의 100GB에 달하는 설치 크기를 고려할 때, 오늘 출시된 버전이 특히 기술 전문가가 아닌 일반 사용자들에게 널리 채택될 수 있을지는 의문입니다. NVIDIA의 간소화된 UI와 인스톨러 워크플로에도 불구하고 현재 릴리스는 일반 사용자가 사용하기에는 여전히 너무 복잡합니다. ChatGPT는 모든 세부 사항을 숨기는 환상적인 작업을 수행하지만, Stable Diffusion 또는 TensorFlow의 로컬 설치를 시도해 본 적이 있다면 프로그래밍 기술과 AI 개념에 대한 지식을 갖춘 컴퓨터 전문가가 제대로 설정해야 한다는 것을 알 수 있을 것입니다. 궁극적인 목표는 최적의 응답 시간과 결과를 위해 수십 개의 조정 가능한 매개변수를 필요로 하는 복잡한 설정에서 벗어나 현재 시스템을 단순화하는 것입니다. 대신 누구나 쉽게 사용할 수 있는 간단한 설정을 만드는 것이 목표입니다.
온라인에서 이용할 수 있는 데이터 과학 패키지가 풍부하며, 많은 패키지가 무료로 오픈소스로 제공되고 있습니다. 기술적인 관점에서 볼 때, 이러한 패키지는 특히 코딩에 능숙한 사람들에게는 Chat with RTX가 제공하는 기능의 상당 부분을 실제로 복제할 수 있습니다. 따라서 NVIDIA가 새롭고 혁신적인 무언가를 발명한 것은 아니지만, 이 소프트웨어를 출시한다는 사실은 데스크톱에서 AI의 과제를 인식하고 이를 해결하고자 하는 의지가 있음을 확인시켜 줍니다.
생성형 AI의 답변은 완전히 틀렸을 때에도 매우 설득력 있게 보일 수 있습니다. 인간 작성자를 모방한 이 텍스트 생성 스타일은 사실적 정확성이 부족하더라도 언뜻 보기에 신뢰할 수 있는 답변으로 보일 수 있습니다. 이러한 알고리즘이 보여주는 자연스러운 흐름과 언어 능력은 이러한 인상을 더욱 강화하여 사용자가 오류나 잘못된 정보의 가능성을 간과하게 만들 수 있습니다. 결과적으로, 개인이 AI 응답의 타당성을 비판적으로 평가하지 않고 무의식적으로 수용하고 의존하여 의도치 않게 오해나 잘못된 정보를 지속시킬 수 있는 위험이 있습니다.
이는 NVIDIA RTX와의 채팅에서도 마찬가지 문제입니다. 저희는 컴퓨터 하드웨어에 대한 전문가가 될 것이라 생각하고 모든 뉴스 게시물을 이 로봇에게 제공했습니다. 일반적으로는 정답이 맞았지만, 이 접근 방식은 예상만큼 잘 작동하지 않았습니다. 처음에는 정답으로 보였고 권위적인 스타일로 작성되었음에도 불구하고 일부 답변은 틀린 것으로 판명되었습니다.
정보 기반 쿼리에 답변하는 것 외에도 이러한 AI 모델에 데이터를 제공하는 것은 물론, 요약하거나 문구를 바꾸는 등의 텍스트 조작을 수행하도록 할 수 있으며, ChatGPT를 사용하면 서비스 가용성에 대해 마음대로 결정할 수 있습니다. 대신, 방대한 양의 정보를 이해하도록 만들 수 있는 GeForce RTX GPU가 탑재된 PC를 가지고 있다고 상상해 보세요.
저는 이러한 콘텐츠를 소비하는 방법을 크게 간소화해준 NVIDIA의 YouTube 동영상에 대해 정말 마음에 듭니다. AI가 동영상을 대신 시청해주는 마법 같은 솔루션은 아니지만(YouTube의 텍스트 기반 자막을 다운로드하긴 하지만), 모든 사람이 콘텐츠를 더 쉽게 이용할 수 있도록 하는 올바른 방향으로 나아가는 한 걸음입니다.
의심할 여지없이, Chat with RTX는 아직 가장자리가 거칠지만 NVIDIA가 AI PC 소프트웨어 시장에 진출한 첫 번째 시도이며 시간이 지남에 따라 많이 개선될 것이라고 확신합니다.
Chat with RTX는 지금 NVIDIA 웹사이트에서 다운로드할 수 있습니다. |