리뷰 - 퀘이사존 공식 IT/하드웨어 리뷰

엔비디아 NGX 기술 | NVIDIA NGX™ Technology

QM벤치

0 2812 1 2018.09.15 10:12

<img src="https://img2.quasarzone.co.kr/img/data/img/editor/1809/1809___1036456271.jpg" title="fcad64afc38d98cadd31f571f50e93b0_1536963091_2017.jpg" style="max-width:100%; height:auto;"> <table align="center" class="__se_tbl" border="0" cellspacing="0" cellpadding="1" attr_no_border_tbl="1" style="text-align: justify;"><tbody><tr><td class="" style="width: 800px; height: 5px;"> 엔비디아 NGX | NVIDIA NGX TECHNOLOGY 엔비디아 NGX™(Neural Graphics Acceleration)는 엔비디아 RTX 기술의 일부이자 새로운 딥러닝(Deep Learning) 기반 기술입니다. NGX는 심층 신경망(Deep Neural Network, DNN)과 일련의 신경 서비스(Neural Service)를 사용하여 그래픽, 렌더링 분야는 물론 다양한 애플리케이션을 가속화하고 향상시키는 AI 기반 기능을 수행합니다. 그리고 이러한 작업은 튜링 GPU에 포함된 텐서 코어(Tensor Core)가 담당하게 됩니다.    NGX 소프트웨어 아키텍처NGX SOFTWARE ARCHITECTUR) NGX 기능은 엔비디아 드라이버와 하드웨어에 밀접하게 결합됩니다. 또한 NGX API는 게임과 애플리케이션을 위한 여러 AI 기능에 대한 액세스를 제공합니다. 이러한 기능은 엔비디아에서 사전 딥러닝 트레이닝(훈련)을 받고 완성된 모델을 드라이버에 통합하는 방식으로 애플리케이션이 여러 AI 기능을 통합할 수 있도록 쉽고 가볍게 설계되었습니다. NGX 서비스는 GPU에서 실행되므로 여러 기능과 애플리케이션을 지원할 수 있습니다.  <img src="https://img2.quasarzone.co.kr/img/data/img/editor/1809/1809___2006443646.jpg" title="fcad64afc38d98cadd31f571f50e93b0_1536967576_0859.jpg" style="max-width:100%; height:auto;"> 따라서 NGX 기능은 엔비디아 지포스 익스피리언스(GeForce Experience™, GFE) 애플리케이션 또는 엔비디아 쿼드로 익스피리언스(Quadro Experience™, QXP) 애플리케이션의 기술 프리뷰 버전으로 관리됩니다. 만약 시스템을 탐색하여 튜링 GPU가 감지되면 NGX 코어 패키지가 다운로드되어 설치됩니다. 이런 과정을 거쳐 GFE/QXP는 게임과 애플리케이션 그리고 NGX와의 관련성을 결정하게 됩니다. 사용자의 PC에 설치된 다양한 게임과 애플리케이션에서 작동되는 다양한 심층 신경망(DNN) 모델을 다운로드 한 후 사용할 수 있습니다. NGX DNN 모델의 경우 CUDA 10, 다이렉트X 및 Vulkan 드라이버와 상호작용할 수 있을 뿐만 아니라 딥러닝 인퍼런싱(추론) 애플리케이션을 위한 낮은 지연시간(latency) 및 높은 처리량을 제공하는 엔비디아 텐서RT(TensorRT™)를 활용할 수 있습니다. NGX 모델 및 서비스는 튜링의 향상된 텐서 코어에 의해 가속화됩니다.    </td></tr></tbody></table><img src="https://img2.quasarzone.co.kr/img/data/img/editor/1809/1809___249447739.jpg" title="fcad64afc38d98cadd31f571f50e93b0_1536967379_3183.jpg" style="max-width:100%; height:auto;"> <table align="center" class="__se_tbl" border="0" cellspacing="0" cellpadding="1" attr_no_border_tbl="1" style="text-align: justify;"><tbody><tr><td class="" style="width: 800px; height: 5px;"> 딥러닝 슈퍼샘플링(DLSS)DEEP LEARNING SUPER-SAMPLING 현대의 게임에서는 렌더링된 프레임이 바로 표시되지 않고, 렌더링된 여러 프레임의 입력을 결합한 후 후처리 이미지 향상 단계를 거치게 됩니다. 이를 통해 세부적인 정보는 보존하되 앨리어싱(Aliasing, 계단현상)과 같은 시각적 아티팩트(Artifact, 이상적이지 않은 인공적 그래픽 요소)는 제거합니다. 대표적으로 TAA(Temporal AntiAliasing)가 있습니다. TAA는 이전 프레임의 샘플링 위치를 결정하기 위해 모션 벡터를 사용하여 두 프레임을 결합하는 셰이더 기반 AA(AntiAliasing) 알고리즘 특성을 갖습니다. 따라서 TAA 방식은 근본적으로 매우 난해한 요소를 가지고 있었습니다. 엔비디아 연구원들은 이러한 유형의 문제 즉, 명료한 알고리즘 설루션이 없고 최적화 작업이 필요한 상황에서 AI를 활용하기로 하였습니다. 특히 딥러닝 분야는 이제 이미지의 원시 픽셀만 보고 개, 고양이, 새 등을 인식하는 놀라운 수준으로 발전했습니다. 이러한 능력을 PC 게임의 이미지 처리 능력에 접목시키면, 원시 픽셀을 기반으로 AI로 렌더링된 이미지를 결합하여 고품질을 달성하는 것이 가능합니다. 그리고 이렇게 개발된 심층 신경망(DNN) 기술을 딥러닝 슈퍼샘플링(DLSS)이라고 합니다. DLSS는 주어진 입력 샘플 집합에서 TAA보다 훨씬 더 높은 품질의 이미지 출력을 생성하며, 이 기능을 이용하여 전반적인 렌더링 성능도 개선됩니다. TAA가 최종 목표 해상도에서 렌더링한 다음 프레임을 결합하는 반면, DLSS는 더 낮은 입력 샘플 수에서 더 빠른 렌더링이 가능하고, 타깃 해상도와 품질 면에서 TAA 결과와 비슷하지만 셰이딩 연산(Shading work) 부담은 오히려 반으로 줄어드는 긍정적인 요소가 있습니다.  </td></tr></tbody></table><img src="https://img2.quasarzone.co.kr/img/data/img/editor/1809/1809___1938315485.jpg" title="fcad64afc38d98cadd31f571f50e93b0_1536968168_644.jpg" style="max-width:100%; height:auto;"> <table align="center" class="__se_tbl" border="0" cellspacing="0" cellpadding="1" attr_no_border_tbl="1" style="text-align: justify;"><tbody><tr><td class="" style="width: 800px; height: 5px;"> ▲ RTX 2080 Ti /w DLSS는 GTX 1080 Ti /w TAA의 두 배에 해당되는 성능을 보여준다.  위 이미지는 언리얼 엔진4(UE4) Infiltrator 데모의 렌더링 성능을 말해줍니다. 결과적으로 DLSS는 TAA와 유사한 이미지 품질을 제공하면서도 성능은 크게 향상시켜줍니다. 단적인 예로 DLSS와 텐서 코어가 결합된 RTX 2080 Ti는 GTX 1080 Ti의 두 배에 해당하는 성능을 달성할 수 있게 합니다. 이러한 결과가 나타나게 된 핵심 요소는 DLSS에 대한 딥러닝 트레이닝(training) 과정입니다. DLSS는 수많은 초고품질 예제 이미지를 바탕으로 원하는 결과를 산출하는 과정을 배울 수 있게 합니다. 이러한 이미지 망(network)을 트레이닝하기 위해 엔비디아는 완벽한 이미지 품질을 위한 수천 개의 레퍼런스 이미지를 수집하고, 64배 이상의 슈퍼샘플링(64xSS)을 조합합니다. 또한 정상적으로 렌더링된 입력 이미지를 포착하여 64xSS 출력 이미지와 맞추기 위해 DLSS를 트레이닝하기 시작합니다. 각 입력을 통해 DLSS에는 출력을 생성하고, 출력된 이미지와 64xSS 이미지의 품질차이를 측정합니다. 그리고 발생된 차이를 기반으로 망의 가중치를 조정합니다. 이러한 과정이 반복되면, DLSS는 64xSS 품질에 매우 근접한 결과를 얻는 한편 TAA와 같은 고전적인 접근 방식에 영향을 주는 흐릿하고 불규칙한 투명성(Transparency) 문제를 피할 수 있습니다.  </td></tr></tbody></table><img src="https://img2.quasarzone.co.kr/img/data/img/editor/1809/1809___1210991280.jpg" title="fcad64afc38d98cadd31f571f50e93b0_1536968542_6501.jpg" style="max-width:100%; height:auto;"> <table align="center" class="__se_tbl" border="0" cellspacing="0" cellpadding="1" attr_no_border_tbl="1" style="text-align: justify;"><tbody><tr><td class="" style="width: 800px; height: 5px;"> ▲ DLSS 2X vs. 64xSS: 이미지 품질 차이가 거의 구분되지 않는 수준 위에서 설명한 DLSS 기능 외에도 DLSS 2X라는 또다른 모드를 제공합니다. 이 경우 DLSS 입력은 최종 목표 해상도에서 렌더링된 후 더 거대한 DLSS 망에 결합되어 64xSS 렌더링 수준에 근접하는 출력 이미지를 생성합니다. 이는 기존의 GPU 아키텍처에서는 실시간으로 달성할 수 없는 수준의 결과물입니다.  </td></tr></tbody></table><img src="https://img2.quasarzone.co.kr/img/data/img/editor/1809/1809___916634119.jpg" title="fcad64afc38d98cadd31f571f50e93b0_1536968588_2415.jpg" style="max-width:100%; height:auto;"><table align="center" class="__se_tbl" border="0" cellspacing="0" cellpadding="1" attr_no_border_tbl="1" style="text-align: justify;"><tbody><tr><td class="" style="width: 800px; height: 5px;"> ▲ DLSS 2X는 TAA보다 안정된 이미지 품질을 제공 마지막으로, 위 이미지는 멀티 프레임 이미지 향상을 위한 매우 까다로운 사례 중 하나를 보여줍니다. 이 경우 반투명 이미지가 움직이는 다른 배경 앞에 떠 있는 상태입니다. TAA는 움직이는 물체의 모션 벡터(motion vectors)를 맹목적으로 따라가는 경향이 있어 이미지 디테일을 흐리게 만듭니다. DLSS는 이미지의 변화가 더 복잡하다는 것을 인지하며, 흐릿한 문제를 피할 수 있는 보다 지능적인 방식으로 입력 이미지를 결합합니다.    인페인팅 | INPAINTING NGX 기술 중 하나인 인페인팅(InPainting)을 소개합니다. 인페인팅은 애플리케이션에서 이미지의 일부 영역을 제거하거나, 혹은 NGX AI 알고리즘을 사용하여 제거된 영역을 컴퓨터로 생성된 대체물로 교체할 수 있습니다.  <img src="https://img2.quasarzone.co.kr/img/data/img/editor/1809/1809___1184770055.jpg" title="fcad64afc38d98cadd31f571f50e93b0_1536968718_8507.jpg" style="max-width:100%; height:auto;"> ▲ 지능적인 NGX 인페인팅의 예제: 누락된 이미지 데이터가 의미 있는 이미지로 채워진다  인페인팅을 사용하면 풍경 이미지에서 하늘에 걸쳐진 전력 케이블을 제거하고 기존 하늘 배경으로 자연스럽게 바꿀 수 있습니다. 인페인팅의 개념은 완전히 새로운 것은 아니지만 기존 설루션이 이미지를 어딘가에서 복사하여 채우는 알고리즘에 의존하는 것에서 탈피합니다. 이러한 알고리즘 방식은 세심하게 적용되지 않으면 시각적으로 명백히 위화감이 드는 타일링 패턴이 생길 수 있습니다. NGX 인페인팅의 알고리즘은 수많은 실제 이미지 집합의 트레이닝(훈련)을 통해 생성되며, 결과적으로 의미있는 이미지를 생성하는 데 도움을 줍니다.    AI Slow-Mo AI Slow-Mo는 보간 프레임을 비디오 스트림에 삽입하여 매우 부드럽고 슬로 모션 비디오를 제공합니다. NGX는 프레임에서 특성과 객체를 분석하고, 객체와 카메라 이동을 식별하며, 기존 비디오 프레임 사이에 새로운 비디오 프레임을 생성합니다. 그 결과 보간 아티팩트(Artifact, 이상적이지 않은 인공적인 그래픽 요소)가 감소된 슬로 모션 비디오가 생성됩니다. AI Slow-Mo의 실제 작동은 아래 유튜브 영상을 시청해주시기 바랍니다.  <div class="apms-autowrap"><div class="apms-autosize"><iframe width="800" height="450" src="https://www.youtube.com/embed/MjViy6kyiqs" frameborder="0" allow="autoplay; encrypted-media" allowfullscreen=""></iframe></div></div> ▲ 엔비디아 리서치의 AI Slow-Mo 기술 시연 영상    AI Super Rez AI Super Rez는 이미지 또는 비디오의 해상도를 2x, 4x 또는 8x 배율로 향상시킵니다. 기존 픽셀을 확장하고 그 사이에 필터를 적용하는 기존의 필터링 방식과 달리 AI Super Rez는 이미지를 해석하고 지능적으로 데이터를 배치하여 새로운 픽셀을 만듭니다.  </td></tr></tbody></table><img src="https://img2.quasarzone.co.kr/img/data/img/editor/1809/1809___1713342683.jpg" title="fcad64afc38d98cadd31f571f50e93b0_1536969383_0187.jpg" style="max-width:100%; height:auto;"> <table align="center" class="__se_tbl" border="0" cellspacing="0" cellpadding="1" attr_no_border_tbl="1" style="text-align: justify;"><tbody><tr><td class="" style="width: 800px; height: 5px;"> ▲ 다른 필터링 방식에 비해 향상된 이미지 선명성을 제공하는 AI Super Rez         </td></tr></tbody></table>