NVIDIA 테크 업데이트 브리핑: DLSS 2.3 & NVIDIA Image Scaling 소개

더 강력해진 DLSS, 그리고 새롭게 제공하는 NIS 기능 소개

퀘이사존 QM슈아
33 2566 2021.11.17 18:45


▲ What’s the Latest? DLSS 2.3 & How It Keeps Learning  <출처: NVIDIA GeForce 채널>



NVIDIA 테크 업데이트 브리핑

DLSS 2.3 업데이트 그리고 NVIDIA Image Scaling 등장


    게임에서 보다 현실적인 그래픽을 표현하기 위해서는 무엇이 필요할까요? 게임 내적으로 보자면 훌륭한 아트 디렉터와 3D 모델러 등 뛰어난 디자이너가 필요합니다. 하지만 게임을 즐기는 유저 입장에서는 게임 구매 내역과 더불어 이를 즐길 수 있는 기기만 있으면 되죠. 게임을 즐기기 위해 콘솔을 활용하는 분도 계시겠지만, 많은 게이머는 PC를 게이밍 머신으로 활용하는 경우가 많습니다. 최근 인텔에서 12세대 코어 시리즈를 출시하면서 DDR5 플랫폼이 등장하기 시작했습니다. 물론 아직까지는 메모리 구입 자체가 하늘의 별 따기 상태인 데다가 가격도 높아 접근성은 떨어지지만, 멀게만 느껴졌던 미래가 한층 다가온 느낌이네요.


    하지만 게이밍 시스템을 갖추기 위해서는 무엇보다도 강력한 그래픽 카드가 필요합니다. 문제는 성능인데요. 요 근래 몇 년 사이 등장한 AAA 급 게임들은 현실에 가까운 그래픽을 선보입니다. 문제는 그래픽 수준이 높아진 만큼 시스템 요구 사양도 덩달아 높아진다는 점입니다. 게다가 이제는 차세대 게임 산업 아이템이라고 볼 수 있는 레이트레이싱Raytracing 기술을 도입하기 시작했습니다. 시스템 요구 사양이 1~2단계 상승하는 수준에서 이제는 훨씬 높은 위치로 껑충 뛰게 되었다는 이야기입니다. 그간 눈속임에 가까웠던 래스터Raster 그래픽으로 표현하던 걸 실시간으로 처리할 수 있다는 사실 자체는 새삼 기술 발전을 느끼게 합니다. 4K, 6K와 같은 초고해상도 영역과 더불어 뛰어난 그래픽, 레이트레이싱까지 붙어서 어마어마하게 높아진 시스템 요구 사양은 어떻게 해결해야 할까요?


    급격하게 많아진 데이터 처리를 위해 각 제조사는 저마다 해결책을 제시하고 있습니다. 예를 들어 NVIDIA에서는 해당 주제에 대한 해결책으로 DLSS(Deep Learning Super Sampling)를 꾸준히 내세우고 있습니다. DLSS는 16K 렌더링 이미지로 학습한 딥러닝 연산 알고리듬을 기반으로 화질 열화를 최소화하는 업스케일링 기법이라고 생각하면 이해가 빠르겠네요. 텐서 코어Tensor Core라는 별도 연산 장치를 사용한다는 대표적인 특성이 있습니다. 초창기인 1.xx 버전 대에서는 과도한 블러Blur로 화면이 뭉개지는 경향을 보였기에 좋은 평가를 받지 못했습니다만, 2.xx 버전대로 올라오면서부터는 실사용 하더라도 크게 문제 없는 수준까지 발전했습니다. 물론 그럼에도 불구하고 여전히 해결해야 할 과제들은 남아 있습니다. 대표적으로 고스팅(Ghosting, 잔상) 현상과 같은 과제가 남아 있는 상황인데요. 최근 NVIDIA에서 진행한 웹 브리핑에 초청받아 DLSS에 대한 업데이트 이야기를 자세하게 들을 기회가 있었습니다. 이에 대해 프레젠테이션 슬라이드를 함께 보며 간단히 소개해드릴까 합니다. 또한, DLSS 업데이트 외에도 한 가지 새로운 기술을 발표했는데요. 무엇에 관한 이야기일까요?



DLSS 최신 버전 비교 콘텐츠 보러 가기

NVIDIA DLSS 업데이트 기획 콘텐츠 보러 가기

NVIDIA DLSS 2.3 업데이트 내용 자세히 보러 가기




퀘이사존

퀘이사존


    DLSS 업데이트에 관한 내용인 만큼 현황을 먼저 확인하는 건 중요합니다. 지난 2021년 1~3분기 동안 DLSS를 선 탑재하는 게임 비중은 큰 폭으로 늘어나는 게 눈에 띕니다. 특히 AAA 급 게임으로 부를 수 있는 게임에 DLSS가 대거 채용됐다는 건 NVIDIA 입장에서 환영할 만한 소식이죠. 게다가 비교적 최근에는 언리얼엔진 4와 유니티에 플러그인 형식으로 DLSS 기술을 손쉽게 포함할 수 있게 되었습니다. 이전까지 NVIDIA와 긴밀한 협력을 해야만 했다면, 이제는 기술을 활용하고자 한다면 인디 게임까지도 손쉽게 활용할 수 있어 적용 범주가 넓어졌다고 볼 수 있겠네요.



퀘이사존


    NVIDIA DLSS 기술을 지원하는 대표 타이틀입니다. 이제 곧 정식 출시를 앞두고 있는 배틀필드 2042가 가장 눈에 띕니다. 실행 불가를 비롯해 각종 문제로 홍역을 앓았던 Grand Theft Auto Trilogy DE 역시도 DLSS 기술을 지원합니다.



퀘이사존


    NVIDIA DLSS 기술은 1 버전대와 2 버전대에서 큰 기술 격차를 보입니다. DLSS 1.xx 버전에서는 좋지 못한 몰입감을 선사했다면, DLSS 2.xx 버전에서는 실사용 하더라도 큰 문제를 알아채기 어려워졌습니다. 그렇다고 해서 DLSS 기술이 완벽한 건 아니기에 꾸준히 알고리듬을 개선해 나가고 있다고 하는데요. 이번 브리핑에서 소개하는 DLSS 2.3 버전은 조금 더 완전체에 가까워졌다는 인상을 줍니다. 해당 슬라이드에서는 사이버펑크 2077을 예시로 들었는데요. 더 나은 모션 벡터 활용으로 고스팅현상을 개선하고 이미지 품질을 높였다고 합니다. 인상적인 대목은 고스팅 현상을 개선했다는 점이었는데, 이는 바로 다음 슬라이드에서 확인할 수 있었습니다.



퀘이사존


    웹 브리핑에서는 양쪽 화면을 모두 동영상으로 보여주어 조금 더 차이를 극명하게 느낄 수 있었습니다. 이미지만으로도 차이가 확연하게 드러나지 않을까 생각합니다. DLSS 2.1를 사용한 좌측 이미지는 불씨에 선이 그어지듯 고스팅 현상이 극명하게 나타났기 때문입니다. 반면 우측 DLSS 2.3 화면은 불씨를 깔끔하게 보여줍니다. 상황에 따라서 조금 다른 화면이 연출될 수는 있겠지만, DLSS 2 버전대에서 가장 취약한 부분으로 지적받던 고스팅 현상을 크게 개선한 점은 환영할 만합니다.



퀘이사존


    모든 사람들이 NVIDIA DLSS 기술을 사용할 수 있으면 좋겠지만, 사실 DLSS는 앞서 언급한 대로 텐서 코어를 필요로 합니다. 그래서 지포스 RTX 20 시리즈와 RTX 30 시리즈에서만 사용 가능한 기술이기도 하죠. 게다가 게임에서 DLSS 기술을 지원해야만 원활하게 사용하는 게 가능합니다. 그래서 NVIDIA에서는 새로운 기술 도입을 발표했습니다. 모든 게임에서 활용 가능하도록 공간적인 업스케일링 기술을 제공한다고 하는데요. 흡사 경쟁사에서 제공하는 FSR(FidelityFX Super Resolution)을 연상케 하는 기술이 아닐까 싶네요. NVIDIA Image Scaling, 줄여서 NIS라는 명칭으로 부를 수 있는 이 기술은 렌더 해상도와 샤프닝 수준을 직접 조정할 수 있어 성능과 화질 중 어느 쪽에 초점을 둘지 사용자가 결정할 수 있습니다.



퀘이사존


    모든 후처리가 끝난 게임 화면을 통째로 업스케일링한다면 UI나 폰트에도 과도한 블러 등이 일어나 오히려 좋지 않은 게임 경험을 제공할 수 있습니다. 고전 게임을 많이 즐긴 분이라면 무슨 말인지 이해하실 듯한데요. FSR와 마찬가지로 NIS 역시 후처리와 HUD 배치 작업을 진행하기 전 시점에서 NIS를 이용한 업스케일링이나 샤프닝 알고리듬을 적용한다고 합니다. 물론 이런 처리 과정을 거치기 위해서는 게임에서 NIS SDK를 활용해야겠지만, FSR도 정확히 같은 원리라는 점을 고려하면 단점으로 취급하기는 어렵습니다. 오히려 UI 뭉개짐 등을 어느 정도 무시할 수 있다면 많은 게임에서 자유롭게 사용 가능하다는 점이 강점으로 작용할 수도 있겠네요. 엠바고 해제 시점인 2021년 11월 16일 이후에 GitHub를 통해서 NIS SDK를 오픈소스로 공개하기로 했는데요. SDK에 관심이 있다면 아래 주소를 통해서 SDK 페이지에 접근하실 수 있습니다.



NVIDIA Image Scaling SDK v1.0 GitHub 페이지 바로 가기



퀘이사존

▲ Upscaler 별 4K 화면 비교 (원본 비교 이미지 보러 가기)


    스케일링 기술에 대한 비교입니다. 좌측부터 원본 4K, FSR 4K Ultra-Quality 모드, NIS 4K Ultra-Quality 모드, DLSS 4K Performance 모드에 해당합니다. 터미널을 자세히 보면 미션명과 등급이 적혀 있는데요. 원본 4K는 제대로 읽기가 어렵고 FSR/NIS Ultra-Quality 모드는 뭉개져서 글자라고 인식하기가 어렵습니다. 반면 DLSS 4K Performance 모드는 원본 4K보다 상대적으로 조금 더 읽을 만한 수준을 보여줍니다. 물론 모든 상황에서 이처럼 상대적 우위를 점하는 결과를 얻는다고 보증할 수는 없지만, 더 나은 성능과 텍스처를 동시에 얻을 수 있다는 결과는 제법 긍정적입니다.



퀘이사존


    NVIDIA에서는 앞선 스케일링 별 비교 이미지와 같은 결과가 발생하는 요인을 입력 데이터에 있다고 설명하고 있습니다. 2560 x 1440, QHD 해상도에서 처리해야 할 픽셀 수는 2560 x 1440 = 3,686,400개, 약 370만 개에 달합니다. 전통적인 업스케일링 기법은 렌더 해상도 자체가 낮기 때문에 기본이 되는 픽셀 수는 이보다 훨씬 낮아집니다. 이미지 슬라이드 기준으로는 1440p Ultra-Quality 모드이므로 77% 스케일링으로 가정해, 1970 x 1108 = 2,182,760개를 초기 입력 픽셀 수로 가정하고 있네요. 반면 DLSS는 여러 데이터 프레임을 모아서 DLSS AI 신경망과 결합하는 형태이기에, 입력 데이터에 해당하는 픽셀 수가 600만 개 이상입니다. 더 많은 픽셀 데이터로 연산해서 더 낮은 픽셀 수로 출력하기 때문에 화질에서 이득이 발생한다는 설명인데, 전통적인 업스케일링보다 DLSS 이미지 품질이 훨씬 나은 이유를 간접적으로 표현하는 슬라이드라고 해석할 수도 있겠네요.



퀘이사존


    Deathloop 게임 이미지로 비교한 화면을 보면 위 설명을 조금 더 쉽게 이해할 수 있을 텐데요. 슬라이드에서는 일반적으로 렌더 처리가 가장 까다로운 철조망 이미지로 비교하고 있습니다. Anti-Aliasing 이미지 비교 목적으로도 철조망 이미지는 종종 활용되곤 하는데요. 전통적인 업스케일 기법으로 볼 수 있는 Spatial Upscaling 1440p Ultra-Quality 모드는 원본 1440p 이미지보다 적은 픽셀 수를 기반으로 이미지를 확대해야 합니다. 그래서 철조망 형태에 해당하는 구조물이 흐릿하고, 중앙 우측 하단부 구조물은 철조망 형태라고 인식하기 어려운 결과물을 제공합니다.


    반면 더 많은 픽셀 수로 데이터를 입력하는 DLSS 1440p Quality 모드는 철조망 형태 구조물이 훨씬 또렷하게 보입니다. 이와 별개로 좌측 돔형 구조물도 경계선이 조금 더 진해졌네요. 다만 조금 더 생각해 볼 문제도 있습니다. 원본 해상도로 표현하고 있는 이미지와 비교한다면 DLSS 역시 과장된 이미지를 표현하고 있는 셈이기 때문입니다. 이런 결과물을 무조건적으로 '더 좋은 이미지'로 받아들여야 할지는 저마다 생각이 다를 수 있으므로 충분히 고민해 볼 수 있는 문제가 아닐까 합니다.



퀘이사존


    DLSS 업데이트와 NIS를 공개하면서 NVIDIA에서 추가로 공개한 소프트웨어가 있습니다. 바로 Image Comparison & Analysis Tool, 줄여서 ICAT이라고 부르는 소프트웨어인데요. 이런 기술적인 내용에 관심이 많은 분이라면 같은 장면을 여러 옵션 별로 비교하기 위한 이미지/동영상을 흔하게 접해 보셨을 겁니다. ICAT은 이런 이미지/동영상 비교를 조금 더 쉽고 편하게 할 수 있도록 도와주는 소프트웨어라고 생각하면 이해가 빠를 듯합니다. 무료로 제공하는 도구이며, NVIDIA 그래픽 카드를 사용하지 않더라도 누구나 자유롭게 사용할 수 있으니 이미지/동영상 품질 비교를 원한다면 참고해 보셔도 괜찮을 듯합니다.



NVIDIA ICAT 소프트웨어 페이지 바로 가기



퀘이사존


    스케일링 기법에 따라 처리 과정이나 최종 이미지 품질이 달라지기 마련이며, 같은 명칭을 사용한다고 해도 결과물은 전혀 다른 경우들이 있습니다. 예를 들어, Spacial Upscaler Ultra Quality 모드와 DLSS에서 Performance 모드는 성능이나 품질 면에서 가장 이상적인 대조군이라고 볼 수 있는데요. NVIDIA에서는 이처럼 동등한 이미지 품질로 비교하는 접근 방식을 'ISO 퀄리티'라고 부른다고 합니다. 예시로 보여준 위 슬라이드를 참고한다면, DLSS Performance 모드는 Spatial Upscaler Ultra Quality 모드와 대등한 이미지 품질을 갖추면서 성능은 훨씬 높다고 볼 수 있습니다. NIS 기술 자체가 FSR에 대응해서 나왔다는 인상을 강하게 주는 만큼, 결국 NVIDIA에서는 DLSS가 Spacial Upscaler에 해당하는 FSR보다 더 낫다는 결론을 내리려는 듯합니다.


    여전히 현시점에서도 FSR과 DLSS를 동시에 사용하는 게임 표본은 적습니다. 설령 두 기술을 모두 지원하더라도 게임에 따라서는 우열을 가리기 어려운 경우도 볼 수 있었습니다. 다만 한 가지 분명한 건, NVIDIA에서는 기술적 우위를 점하기 위해 DLSS를 꾸준히 개선하고 있다는 점입니다. 업스케일링 기술에 있어서는 후발주자에 해당하는 AMD 입장에서는 DLSS에 대응하기 위한 연구가 꾸준히 이루어질 필요가 있어 보이네요.



퀘이사존


    DLSS 2.3 업데이트에 이어 NIS 기술까지 지원하게 되면서 NVIDIA는 전통적인 기법부터 AI 알고리듬 기법까지 다양한 업스케일링 기능을 두루 갖추게 되었습니다. 업스케일링 방법에 이 두 가지만 존재하는 건 아니지만, 현시점에서는 업스케일링에 대한 지원을 충분히 제공하고 있는 셈이네요. 유저가 활용하는 그래픽 카드 혹은 즐기는 게임에 따라 DLSS부터 NIS까지 자유롭게 적용할 수 있게 되면서 선택의 폭은 확실하게 넓어졌습니다.




퀘이사존

퀘이사존


    지난 몇 년 사이, 게임 그래픽은 점점 사실과 구분하기 어려워지는 경계에 다다른다는 인상을 줍니다. 여기에 실시간 레이트레이싱 기법이 얹어지니, 이제는 눈속임용 그래픽 대신 실시간 연산 처리로 더욱더 현실감을 부여하는 단계에 도달했습니다. 이토록 눈부신 발전을 이뤄내고 있는 상황이니 게이머 입장에서는 마냥 즐거워야 하지만, 한 발자국 더 깊숙한 곳에 발을 디뎌보면 여전히 헤쳐 나가야 할 과제는 많아 보입니다. 4K를 넘어서서 5K, 6K로 향하는 초고해상도 영역과 더불어 처리해야 할 연산량은 끝도 없이 늘어만 가는 상황이기 때문입니다. NVIDIA 그래픽 카드를 기준으로 1만 개가 넘는 쿠다 코어가 투입됨에도 불구하고 여전히 성능에 대한 갈증은 완전히 해소되지 않습니다. 결국 이를 해소하고자 NVIDIA에서 선택한 방법은 AI 알고리듬에 기반한 업스케일링 처리였습니다.


    분명히 NVIDIA DLSS는 완벽하지는 않아도 충분히 훌륭한 기능임에는 틀림없습니다. 하지만 게임에서 DLSS 기능을 지원해야 하며, 이를 사용할 수 있는 그래픽 카드가 필요하다는 한계점도 명확합니다. 그렇기에 이번 테크 업데이트 브리핑이 시사하는 바는 크다고 봅니다. 경쟁사에서 발표한 FSR은 전통적인 업스케일링 기법을 개선한 형태이면서 외부 연산 장치를 필요로 하지 않습니다. 콘솔이나 노트북, 초소형 PC과 같이 기기 업그레이드에 제약이 따르는 기기를 사용하는 환경이라면 환영할 만한 소식입니다. NVIDIA에서는 FSR과 DLSS가 기술적으로 다르다는 걸 확실하게 강조하면서 게이머에게 조금 더 도움이 될 수 있는 NIS 기능을 새롭게 제공하기로 했습니다. 더불어 DLSS는 2.3으로 업데이트해서 한층 더 강력한 기능으로 업그레이드했죠. 브리핑 말미에 NIS 기능은 지포스 GTX 900 시리즈부터 사용이 가능하다는 답변을 받았기에, 최근 몇 년 새에 그래픽 카드를 구매했다면 NIS 기능을 자유롭게 사용 가능하지 않을까 싶습니다.


    NVIDIA와 AMD가 바라보는 게임의 미래는 조금 다를 수 있지만, 선의의 경쟁을 통해 게이머에게 이득이 되는 신기술이 등장하는 건 언제든 환영할 만한 소식입니다. 분명 두 업체 모두 현시점에 안주할 생각은 없어 보입니다. 앞으로도 두 그래픽 카드 제조사가 더 나은 게이밍 환경 구현을 위해 개발할 신기술을 기대해보면서 짧게나마 작성한 업데이트 브리핑 리포트를 마무리하겠습니다. 차후 DLSS와 NIS, FSR을 비교하는 콘텐츠도 소개해드릴 기회가 있다면 좋겠네요.





퀘이사존의 저작물은 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스에 따라 이용할 수 있습니다.​



댓글: 33

신고하기

신고대상


신고사유

투표 참여자 보기