![퀘이사존](https://img2.quasarzone.com/editor/2024/02/14/f0e4a3563c23e93e8bfe4737924b354e.jpg)
NVIDIA는 사용자가 최소 8GB의 비디오 랜덤 액세스 메모리(VRAM)를 갖춘 로컬 NVIDIA GeForce RTX 30 시리즈 GPU 이상으로 가속화된 콘텐츠로 챗봇을 개인화할 수 있는 기술인 Chat with RTX 데모를 선보입니다. Chat with RTX는 RAG(검색 증강 생성), NVIDIA TensorRT-LLM 소프트웨어 및 NVIDIA RTX 가속을 사용하여 로컬 GeForce 기반 Windows PC에 생성 AI 기능을 제공합니다. 사용자는 PC의 로컬 파일을 Mistral 또는 Llama 2와 같은 오픈 소스 대규모 언어 모델에 데이터 세트로 빠르고 쉽게 연결할 수 있어 빠르고 상황에 맞는 답변을 쿼리할 수 있습니다.
사용자는 메모나 저장된 콘텐츠를 검색하는 대신 간단히 쿼리를 입력할 수 있습니다. 예를 들어, “라스베가스에 있는 동안 내 파트너가 추천한 레스토랑은 무엇이었나요?”라고 질문할 수 있습니다. Chat with RTX는 사용자가 가리키는 로컬 파일을 스캔하고 상황에 맞는 답변을 제공합니다.
이 도구는 .txt, .pdf, .doc/.docx 및 .*!*을 포함한 다양한 파일 형식을 지원합니다. 이러한 파일이 포함된 폴더를 애플리케이션에 지정하면 도구가 해당 파일을 몇 초 안에 해당 라이브러리에 로드합니다.
사용자는 YouTube 동영상 및 재생 목록의 정보를 포함할 수도 있습니다. RTX를 사용한 채팅에 비디오 URL을 추가하면 사용자는 상황별 쿼리를 위해 이 지식을 챗봇에 통합할 수 있습니다. 예를 들어, 좋아하는 인플루언서 동영상의 콘텐츠를 기반으로 여행 추천을 요청하거나 최고의 교육 리소스를 기반으로 한 빠른 튜토리얼과 방법을 얻을 수 있습니다.
Chat with RTX는 Windows RTX PC 및 워크스테이션에서 로컬로 실행되기 때문에 제공되는 결과는 빠르며 사용자의 데이터는 장치에 유지됩니다. 클라우드 기반 LLM 서비스에 의존하는 대신 Chat with RTX를 사용하면 사용자는 민감한 데이터를 제3자와 공유하거나 인터넷에 연결할 필요 없이 로컬 PC에서 처리할 수 있습니다.
최소 8GB VRAM을 갖춘 GeForce RTX 30 시리즈 GPU 이상 외에도 Chat with RTX에는 Windows 10 또는 11과 최신 NVIDIA GPU 드라이버가 필요합니다. Chat with RTX에 대해 자세히 알아보세요 .
|