하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

수석 엔지니어 Karthik Vaidyanathan과의 Intel XeSS 인터뷰 (스압)

띠띠에

2 629 1 2021.08.25 11:44

<p><span style="color: rgb(107, 165, 74); font-size: 14px;">해외 매체의 뉴스를 번역기를 이용해서 번역한 것이기 때문에 오류가 많으니 원문 참고해주시면 감사하겠습니다.
</span></p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2021/08/25/21042b2550d94b9a0bc861d0f35de0c8.png" alt="퀘이사존"></p><p><br></p><p>오늘 우리는 Intel 수석 엔지니어 Karthik Vaidyanathan과 함께 Intel의 다가오는 신경 슈퍼샘플링 기술인 XeSS와 매우 인상적인 데모에 대해 광범위하게 이야기할 것입니다. Karthik은 XeSS 개발에 중요한 역할을 했으며 업스케일링 기술에 대한 커뮤니티의 질문을 처리할 것입니다. 인터뷰의 의제는 업스케일링 기술의 분류에 대한 몇 가지 기본적인 배경으로 시작하여 보다 구체적인 질문으로 넘어갈 것입니다.</p><p><br></p><p>여러분은 인터뷰의 보다 흥미진진한 부분을 건너뛰고 싶어할 수도 있지만, 우리는 모든 사람이 이 모든 것을 읽도록 장려할 것입니다. 왜냐하면 Karthik이 응답하는 거의 모든 문장에는 통찰력이 있기 때문입니다(특히 우리는 게이머들이 뒤에서 무슨 일이 일어나고 있는지 이해하는 데 도움이 될 예시들이 마음에 들었기 때문입니다).</p><p><br></p><p><img src="https://img2.quasarzone.com/editor/2021/08/25/bde445dd46f335059010a240865ee689.png" alt="퀘이사존"></p><p><br></p><p>Karthik은 또한 XeSS에 대한 몇 가지 정말 흥미로운 세부 정보를 공개할 수 있었고(스포일러는 하지 않겠습니다) 이에 대해 알려드리고 싶습니다. 이 글은 일반 독자의 경우 36분 동안 읽을 수 있으므로 커피 한 잔과 간식을 드시고 인터뷰를 즐기세요!</p><p><br></p><p>Karthik은 또한 XeSS에 대한 몇 가지 정말 흥미로운 세부 정보를 공개할 수 있었고(스포일러는 하지 않겠습니다) 이에 대해 알려드리고 싶습니다. 이 글은 일반 독자의 경우 36분 동안 읽을 수 있으므로 커피 한 잔과 간식을 드시고 인터뷰를 즐기세요!
</p><p><span style="font-weight: bold;"><br></span></p><p></p><table class="table table-bordered"><tbody><tr><td>Nicolas Mijuskovic [Intel Moderator]: Karthik, 벗어 던지고 싶습니까? 내 말은, 이것은 매우 대화식일 수 있지만 일반적으로 업스케일링과 작동 방식 및 다양한 접근 방식에 대한 약간의 배경 지식을 제공하고 나면 우리는 일종의 파헤칠 수 있습니다. Usman은 많은 것을 가질 것이라고 확신합니다. 신경 부분과 도전 과제 및 접근 방식에 도달하기 시작하면 질문을 던집니다.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 좋습니다. XeSS와 같은 기술을 사용하는 우리의 궁극적인 목표는 가장 상세한 그림자와 반사가 있는 가장 정확한 조명으로 최고 품질의 렌더링을 생성하고 이를 부드러운 프레임 속도로 도입하는 것입니다. 이러한 고품질의 정확한 렌더링은 복잡하며 특히 4K 디스플레이에 필요한 모든 픽셀을 부드러운 프레임 속도로 생성하는 것은 어려울 수 있습니다. 이것이 바로 이 모든 기술이 필요한 곳입니다. 프레임마다 더 작은 픽셀 집합을 렌더링한 다음 해당 정보를 사용하여 대상 디스플레이에 필요한 모든 픽셀을 생성할 수 있다는 아이디어가 있습니다. 이는 매우 고해상도 디스플레이가 될 수 있습니다. 그러나 핵심은 모든 세부 사항을 잃지 않고 최고 품질의 렌더에 있는 장점을 잃지 않고 이 작업을 수행할 수 있다는 것입니다. 왜냐하면 그것은 애초에 그러한 고품질 렌더를 갖는 목적을 무효화하기 때문입니다. 이 모든 포토리얼리즘을 원하지 않고 [업스케일링 기술이 적용된 후] 최종 디스플레이에서 흐리게 처리하기만 하면 됩니다. 그리고 그것은 여러분이 보게 될 다른 종류의 기술로 우리를 인도하고 그들은 크게 두 진영으로 나뉩니다.</li><li><br></li><li>공간적 업스케일링이 있습니다. 아마 그것에 대해 꽤 많이 들었을 것입니다. 일반적으로 초해상도 기술이라고도 합니다. 그리고 다른 한편으로는 슈퍼 샘플링 기술이 있고 많은 현대 게임이 이미 바둑판 렌더링과 같은 슈퍼 샘플링 기술을 사용하고 있습니다. 이제 이러한 공간적 업스케일링 기술 중 일부에 대해 더 깊이 파고들면 더 간단한 경향이 있습니다. 일반적으로 앤티 앨리어싱 후에 작동합니다. 예를 들어, TAA 후에 그들은 낮은 해상도에서 단일 프레임을 보고 목표 해상도로 업스케일합니다. 이미지를 업스케일하는 데 사용하는 스마트 기술이 많이 있지만 처음에는 이러한 작은 픽셀 집합으로 작업할 때 정보가 없는 경우가 많습니다. 게다가 앤티 앨리어싱 후에 작업할 때 앤티 앨리어싱을 저역 통과 필터로 생각할 수 있습니다. 이는 결국 많은 정보에서 많은 세부 사항을 제거하게 됩니다.</li><li><br></li><li>따라서 매우 작은 정보 집합으로 작업하고 있으며 누락된 픽셀을 모두 생성하고 근사하거나 환각하는 두 가지 선택이 남아 있습니다. 그리고 여러분이 보게 될 대부분의 실시간 기술은 근사치입니다. 작동 방식은 잘 정의된 모서리나 일부 기능이 있으면 감지할 수 있다는 것입니다. 그런 다음 날카롭게 하거나 처음에 감지했기 때문에 세부 사항을 생성하십시오. 이제 매우 미세한 세부 사항이 있는 시나리오를 상상할 수 있습니다. 가장 일반적인 것은 가는 와이어이지만 미세한 반사, 하이라이트, 이 모든 것이 훨씬 더 많습니다. 와이어의 저해상도 렌더링을 보면 여기에 하나의 픽셀이 있고 저기에 하나의 픽셀이 있을 수 있습니다. 그리고 전선이 있다는 것을 유추할 수 있는 방법이 없으므로 이러한 세부 사항을 생성하는 것은 불가능합니다. 그리고 이것이 이러한 종류의 단일 프레임 공간 업스케일링 기술이 세부 사항을 생성하는 것이 상당히 어려운 부분입니다. 이제 환각을 일으킬 수 있는 GAN과 같은 최첨단 기술이 있지만 이들은 실제로 실시간 영역에 대해 충분히 빠르지 않으며 적어도 아직까지는 잘 일반화되지 않습니다.</li><li><br></li><li>슈퍼 샘플링은 완전히 다른 접근 방식이며 이 둘의 차이점을 지적하는 것이 좋습니다. 슈퍼 샘플링이 작동하는 방식은 무엇보다도 안티 앨리어싱과 업스케일링을 단일 문제로 취급합니다. 이것은 별도의 문제가 아니며 렌더에서 나오는 필터링되지 않은 픽셀에서 직접 작동합니다. 그래서 여러분은 렌더에서 오는 모든 정보를 가지고 있을 뿐만 아니라 픽셀과 이전 프레임도 살펴보고 거기에는 많은 정보가 있고 그 정보를 결합하여 목표 해상도에 필요한 모든 픽셀을 생성합니다. 그래서 우선, 당신은 당신이 가지고 있는 정보의 양에 있어 평소만큼 많이 제한되지 않습니다. 예를 들어 와이어가 있는 경우 한 프레임에서 해당 와이어에서 2개의 픽셀만 볼 수 있지만 8개 프레임 이상에서는 이것이 와이어처럼 보이는 것을 보기 시작합니다. 그리고 흥미로운 점은 슈퍼 샘플링이 한동안 주변에 있었다는 것입니다. 바둑판 렌더링은 이미 있습니다. 최첨단 게임 엔진 렌더링은 이미 이러한 종류의 기술을 사용합니다. 그리고 종종 이것이 이미 공간적 업스케일링보다 더 나은 성능을 발휘한다는 것을 알게 될 수도 있습니다.</li><li><br></li><li>[슈퍼 샘플링]은 특히 휴리스틱을 기반으로 하는 최신 슈퍼 샘플링의 경우 쉬운 문제가 아닙니다. 문제는 실현 가능하지 않을 수 있는 시나리오가 많이 있기 때문에 현재 프레임을 재구성하는 데 실제로 사용할 수 있는 이전 프레임의 모든 픽셀, 모든 정보를 찾는 것이 어렵다는 것입니다. 현재 프레임에서는 표시되지만 이전 프레임에서는 표시되지 않습니다. 전경에 있는 큰 물체를 상상해 보세요. 이전 프레임에서는 볼 수 있었지만 현재 프레임에서는 사라지고 멀리 이동되어 현재 프레임에서 볼 수 없기 때문에 해당 픽셀을 사용할 수 없습니다. 이것이 하나의 시나리오입니다. 장면이 동적이기 때문에 사물이 움직이기 때문에 이전 프레임의 픽셀과 현재 프레임의 픽셀 간에 일대일 대응을 할 수 없는 시나리오가 많이 있습니다.</li><li><br></li><li>사용 가능한 픽셀을 시도하고 감지하려면 약간의 영리함이 필요합니다. 그리고 이러한 픽셀을 사용할 수 없는 경우에도 공간 기술과 같은 좋은 근사치가 필요합니다. 대부분의 최첨단 게임 [기술]은 가능한 한 많은 픽셀을 시도하고 사용하기 위해 많은 경험적 접근 방식, 손으로 디자인한 많은 접근 방식을 사용하지만 끝나지 않는 방식으로 시도합니다. 잘못된 정보나 잘못된 정보를 통합하지만 항상 작동하지 않기 때문에 고스트, 흐릿함과 같은 인공물을 자주 볼 수 있으며 이는 일반적으로 TAA, 바둑판 렌더링과 같은 기술과 관련된 문제입니다. 신경망이 필요한 이유는 이것이 신경망에 거의 이상적인 문제이기 때문입니다. 신경망은 복잡한 기능을 매우 잘 감지하고 바로 적절한 양의 정보를 통합하는 데 사용할 수 있고 정보가 없을 때 신경망을 사용할 수 있기 때문입니다. 이러한 복잡한 기능을 감지하고 재구성하십시오. 그래서 그런 종류의 기술을 요약합니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 고마워요, Karthik. 여기에 약간의 플러그를 꽂습니다. 경쟁사 입장에서는 FSR, DLSS 1.0, DLSS 2.0, 심지어 언리얼 엔진의 템포럴 업스케일링도 있죠? XeSS는 DLSS 1.0 및 2.0과 더 비슷합니다. FSR은 신경망을 사용하지 않는 반면 FSR은 신경망을 사용하지 않고 ML 또는 AI 기반도 아니며 모션 벡터 지원도 없기 때문에 신경 슈퍼 샘플링을 기반으로 하기 때문입니다. 그렇다면 독자가 렌더링 기술 측면에서 지도에 배치할 수 있도록 FSR, DLSS 1 및 2, XeSS를 어떻게 분류할 수 있습니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 네, 그래서 슈퍼 샘플링 기술에는 모션 벡터가 필요합니다. 이전 프레임의 정보를 사용하려고 하고 프레임이 어떻게 이동하고 객체가 어떻게 움직이는지 알아야 하기 때문입니다.</li><li><br></li><li>그래서 내가 아는 FSR은 공간적 업스케일링이고 우리는 이미 공간적 업스케일링과 그 한계에 대해 논의했습니다. DLSS 1.0, 다시 DLSS가 열려 있지 않기 때문에 DLSS의 내부에 대해 알지 못하지만 내 이해로는 게임 전반에 걸쳐 일반화되는 것이 아니었습니다. DLSS 2.0 plus는 신경망 기반이었고 매우 잘 일반화되었습니다. 처음부터 XeSS의 목표는 일반화된 기술이어야 합니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: DLSS 2.0과 가장 비슷합니다.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 그렇게 말할 수 있습니다. 다시 말하지만, 기술은 매우 다를 수 있습니다. 네, 신경망 기반입니다. 예. 슈퍼 샘플링 기술입니다. 그리고 예, 그것은 그 정도로 일반화됩니다. 다른 시스템[DLSS 2.0]과 비슷하지만 기본 기술이 매우 다를 수 있습니다. 두 개의 독립적인 그룹이 있을 때 자신의 방식으로 문제를 해결하려고 하면 문제에 대한 매우 창의적인 솔루션이 나올 가능성이 높기 때문입니다.</li><li><br></li><li>언리얼 엔진 5에 대해 언급하셨고 이 제품은 최고 품질의 그림자 기하학적 조명 충실도를 생성하고 렌더링에 너무 많은 투자를 하고 있을 때, 그 픽셀에서 다음으로 확장할 때 품질을 잃고 싶지 않을 것입니다. 목표 해상도 - 그리고 그것은 첫날부터 우리의 목표였습니다. 또한 누군가가 제공하는 모든 게임에 대해 훈련이 필요한 취약한 솔루션을 갖고 싶지는 않습니다. 이는 첫날부터 우리의 목표이기도 합니다.</li></ul><p><br></p><p><img src="https://img2.quasarzone.com/editor/2021/08/25/f0b5b2f1621c5f90c5f2e0eb2e8c7a19.png" alt="퀘이사존"></p><p><br></p><table class="table table-bordered"><tbody><tr><td>Nicolas: Karthik에게 보여진 데모에서도 공유할 수 있다고 생각합니다.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 예, Usman은 데모를 보았고 XeSS는 그 데모를 본 적이 없다고 말할 수 있습니다. 그 데모에서 훈련된 적이 없습니다. 당신이 본 그 장면의 모든 콘텐츠는 우리 교육 과정의 일부로 사용되지 않았습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 매우 인상적입니다. 따라서 게임별로 훈련할 필요가 없기 때문에 이를 많은 게임에 매우 빠르게 롤아웃할 수 있습니다. 일종의 일반화입니다.</td></tr></tbody></table><p><br></p><ul><li>Karthik : 맞습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 그리고 어제 여러분이 구형 모델에서도 XeSS를 지원할 계획이라고 들었습니다. 어떻게 작동하는지 자세히 설명할 수 있습니다. 내가 이해하기로는 FSR이 머신 러닝 기반이 아닌 이유는 AMD가 구형 모델에도 더 넓은 범위를 적용하기를 원했고 DLSS가 하드웨어에서 어떤 형태의 추론 기능을 필요로 한다는 것을 이미 알고 있기 때문입니다. 그렇다면, 구형 모델에 대해 계획하고 있다면 어떻게 이 모델을 롤아웃할 계획입니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 예, 추론 기능이 필요하지만 GPU에서 사용할 수 있는 추론 기능은 행렬 가속만이 아닙니다. 다시 Skylake로 돌아가면 내적 가속이 있는 DP 4.4가 있습니다. 다양한 이름이 있습니다. Turing과 AMD가 RDNA2에 이것을 가지고 있기 때문에 Nvidia는 이것을 가지고 있다고 생각합니다. 따라서 Matrix 가속 없이도 꽤 멀리 갈 수 있습니다. 매트릭스 가속만큼 빠르지는 않지만 목표를 확실히 충족합니다. 그리고 내가 말했듯이 목표는 렌더의 충실도를 유지하고 부드러운 프레임 속도를 달성하는 것입니다. 따라서 구형 모델의 경우 구형 내부 GPU에서 잠시 동안 내적 가속(DP4a)을 사용했습니다.</li><li><br></li><li>Microsoft는 Shader Model 6.4 이상을 통해 이를 활성화했으며 이러한 모든 플랫폼에서 XeSS가 작동합니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 저해상도 입력 프레임에서 업스케일링할 때 공간 기술이 저하되는 것을 보았지만 신경 슈퍼 샘플링 기술을 사용하고 있기 때문에 저해상도를 업스케일링할 때 XeSS 성능이 어떻습니까? 1080p 이하를 생각하십시오.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 더 낮은 해상도로 확장해야 합니다. 그리고 그것은 또한 우리 자신의 노트북 장치에 대한 요점입니다. 맞습니까? 그것들은 4K를 말하는 것이 아닙니다. 1080p 또는 720p로 렌더링될 수 있습니다. 따라서 핵심입니다. 특히 보유하고 있는 GPU의 범위가 줄어들고 미드레인지, 로우엔드 GPU로 갈수록 규모를 축소하고 업스케일링 기술에 더 많은 부담을 주는 기술이 필요합니다. 더 작은 정보 집합으로 작업합니다. 그리고 어떤 경우에는 8k는 생성할 수 있는 렌더에 이미 많은 중복성이 있기 때문에 쉬운 문제이지만 2k 또는 1080p로 갈수록 체인이 점점 더 어려워지며 다른 접근 방식에서도 이를 볼 수 있습니다. 그러나 우리의 목표는 더 낮은 해상도로 내려갈 때 그 이미지 품질을 유지하려고 노력하는 것입니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: NVIDIA가 DLSS 2.0에서 대체로 수정한 DLSS 1.0에서 본 것과 같은 XeSS의 현재 상태는 무엇이며 모션 및 기타 시간적 아티팩트를 처리하는 방법은 무엇입니까? 1일차의 아티팩트 측면에서 사용자는 어떤 기대를 가질 수 있습니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 따라서 DLSS 1.0에서 보셨을 수 있는 문제 중 일부는 공개적으로 사용 가능한 정보를 기반으로 하고 있습니다. 제가 말할 수 있는 것은 이 시점에서 제가 아는 유일한 것은 접근 방식이라는 것입니다. 그것은 일반화되지 않았고 우리는 그것을 기반으로 몇 가지 추론을 할 수 있습니다. 이를 살펴보는 한 가지 방법이 있습니다. 신경망에 관한 일반화의 핵심은 강력한 데이터 세트와 강력한 훈련이라는 사실을 알 수 있도록 하는 것입니다. 하지만 이는 문제의 일부일 뿐입니다. 더 큰 문제는 더 간단한 방법으로 문제를 정의하는 것입니다(예: 저차원 공간). 그래서 네트워크가 일반화하기가 훨씬 쉽습니다.</li><li><br></li><li>아주 간단한 예를 들 수 있습니다. 네트워크에서 3색 구성요소 R, G, B를 모두 예측하도록 할 수 있습니다. 또는 네트워크가 3색 구성요소 모두에 적용되는 필터만 예측하도록 할 수도 있습니다. 맞습니까? 그리고 이것은 당신이 문제를 정의하는 방식이 더 나은 일반화로 가는 길을 제공한다는 아이디어를 전달하기 위해 제가 제시하는 매우 간단한 예입니다. 그리고 이것이 핵심이자 DLSS 1.0에서 보았을 수 있는 모든 문제입니다. 일부 장소에서는 흐릿하게 보일 수 있고, 모션 문제는 본질적으로 다음과 같은 방식으로 문제를 정의합니다. 앤티 앨리어싱과 업스케일링을 하나의 문제로 처리하여 이 두 문제에 대해 모션 벡터를 사용하는 단일 문제로 일반화하고 다루기 쉽고 이것이 핵심입니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 요약하자면 XeSS는 일반화합니다. 모션 벡터를 지원하며 DLSS 2.0에 대한 지식과 가장 유사합니다.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 맞습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 좋습니다. 로드맵에 대해서도 조금 이야기해 보겠습니다. 그래서 Nvidia는 DLSS 기술을 DLSS 1.0, DLSS 2.0으로 분할했습니다. 여러 번 반복할 예정입니까, 아니면 단일 릴리스로 할 것인지요? 그리고 저는 또한 Raja가 어제 이전 이벤트에서 여러분이 언젠가는 소스를 공개할 계획이라고 언급한 것 같아요.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 먼저 로드맵에 대해 이야기해 보겠습니다. XeSS와 같은 기술은 우리가 할 수 있는 일이 훨씬 더 많다고 생각하며 모든 문제를 해결했고 XeSS가 완벽하고 우리가 끝났다고 말하는 것은 순진한 생각일 것입니다. 더 좋아질 것입니다. 어쩌면 당신은 더 공격적이고, 스케일링하고, 더 낮은 해상도로 내려갈 수도 있습니다. 이 공간에는 흥미로운 문제가 너무 많아서 계속해서 개선하고, 발전시키고, 이끌어 나갈 것입니다. 그래서 그렇습니다. 언젠가는 XeSS 2.0이, 언젠가는 XeSS 3.0이 있을 것입니다. 어느 시점에서 그래픽이 완전히 바뀌고 모두 신경망이라는 것을 알 수 있습니다.</li><li><br></li><li>그리고 예, 우리는 소스를 공개할 계획입니다. 그리고 그것은 우리에게 중요합니다. 이것은 이와 같은 기술에 대한 우리의 비전의 일부입니다. 우선, ISV는 소스를 공유할 때 실제로 통합하고 있는 것이 무엇인지 알고, 기술을 이해하고, 이를 기반으로 구축할 수 있으며, 결과적으로 더 큰 공감대를 얻습니다.</li><li><br></li><li>우리는 이것에 대해 특정한 관점을 가지고 있습니다. 우리는 이 문제를 해결하는 최고의 연구원들이 있지만, 이를 더 큰 커뮤니티와 공유하면 훨씬 더 많은 것을 활용할 수 있고 결과적으로 우리가 할 수 있는 것이 훨씬 더 많을 것이라고 생각합니다. 그래서 그것은 그것의 한 부분입니다. 물론 크로스 벤더와 오픈 소스가 훨씬 더 나은 것이 있습니다. 채택 장벽이 낮기 때문이겠죠? 오픈 소스이고 여러 플랫폼에서 실행되는 기술을 보유하고 있기 때문입니다. 이는 게임 엔진에 통합할 수 있고 실행 중인 모든 단일 플랫폼에 대해 차별화할 필요가 없는 것입니다. 예, 다른 GPU에서 작동하고 오픈 소스이며 업계 전반에 걸쳐 더 많은 채택을 위한 경로를 설정하거나 설정할 수 있는 솔루션을 갖는 것이 첫날부터 우리의 목표이기도 했습니다.</li><li><br></li><li>그리고 그것은 이와 같은 기술의 더 넓은 적용을 위해 필요한 것입니다. 가장 파괴적인 기술을 생각해낼 수는 있지만 그것이 블랙박스라면 항상 문제가 있습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 그리고 처음에는 비공개 소스로 출시되지만 결국에는 오픈 소스로 옮겨갈 것이라고 이해합니다. 이 이해가 맞습니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 관련된 타임라인에 대해 완전히 알지는 못하지만 결국에는 공개 소스가 되어 확인할 수 있습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 충분합니다. XeSS 또는 XeSS용 생태계 파트너를 통합하기 위해 현재 주요 게임 개발자와 협력하고 있습니까? Xe HPG가 진행되는 한 많은 사람들과 협력하고 있지만 XeSS는 어떻습니까? 아직 생태계 파트너 또는 다른 게임 개발자와 파트너 관계를 맺을 단계는 무엇입니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 우리와 함께 일하고 있는 여러 파트너가 있습니다. 이 시점에서 더 이상 언급할 수 없습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 하지만 이들은 게임 개발자 권리 또는 다른 파트너입니다.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 여기에는 게임 개발자가 포함됩니다. 더 많이 공유할 수 있었으면 좋겠습니다.</li></ul><p><br></p><p><img src="https://img2.quasarzone.com/editor/2021/08/25/d05f8425d7aeeca504ea19b381d977d8.png" alt="퀘이사존"><br></p><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 그럼 잠시 숨을 고르고 가벼운 이야기를 합시다. 여기 온지 10년 됐죠? 가장 좋아하는 게임은 무엇이라고 말하겠습니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 아마도 11년일 것입니다. 어느 시점에서 카운트를 잃었습니다. 오, 아주 흥미로운 질문입니다. 하면 떠오르는 게임은 바이오쇼크 인피니트. 하하. 그게 한동안 저에게 꽂혀서 대학 시절로 돌아가게 된 것 같아요. 물론 Half-Life가 있었고 모두가 Half Life 3를 기다리고 있으며 저를 그 목록에 포함시킬 수 있습니다. 아마 내 평생에 일어나지 않을 것입니다, 하.</li><li><br></li><li>하지만 예, BioShock Infinite는 아마도 한 가지 이유로 매우 뚜렷하게 기억나는 마지막 게임이었을 것입니다. 저에게는 개인적으로 스토리 텔링 측면에 더 관심이 많습니다. 저에게 개인적으로 게임은 예술적 표현의 또 다른 형태입니다. 더 많은 자유도와 잠재력이 있는 영화입니다. 그래서 저는 스토리텔링 측면이 매우 강한 게임에 편향되는 경향이 있습니다. 오른쪽? 저는 멀티플레이어 게임에 그다지 관심이 없습니다. 왜냐하면 저에게는 그것이 제가 오랫동안 관심을 가져왔던 것이 아니기 때문입니다. 몰입형 경험을 하고 시각적 요소, 창의적 입력, 예술적 측면에 감탄하는 것입니다. 그리고 그것이 저를 이 분야, 이 기술로 끌어들이는 것입니다. 그리고 네, 그런 것 같아요. BioShock Infinite는 내 생각에 매우 강력한 줄거리를 가진 게임 중 하나였습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 좋은 것 같군요. 편향된 질문일 수도 있다는 것을 압니다. 하지만 Xe HPG 에코시스템 전체에서 가장 좋아하는 기능은 무엇입니까? 그래서 그것은 무엇이든 될 수 있습니다. 레이 트레이싱, XeSS. 따라서 원하는 것을 자유롭게 제공하십시오.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 레이 트레이싱 작업도 했기 때문에 레이 트레이싱과 XeSS를 같은 수준으로 만들었습니다. 둘 다 차세대 그래픽의 트렌드를 주도하는 파괴적이고 미래 지향적인 기술입니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 따라서 게임을 하게 된다면 레이트레이싱을 켜고 플레이하게 될 것입니다.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 60FPS 를 얻을 수 있는 한. 내가 인정해야만 합니다. NVIDIA RTX 2070에서 60FPS에 도달할 수 없었기 때문에 레이 트레이싱을 끄고 Cyberpunk를 플레이했습니다. 하지만 네, 부드러운 프레임 속도가 매우 중요합니다. 그리고 그것은 당신이 해결해야 할 문제입니다. 그것은 내가 처음에 최고 품질의 픽셀을 원한다고 말한 것과 거의 같습니다. 저는 이 몰입형 경험을 원합니다. 아티스트의 창의적인 입력이 시각적 경험에 이르기까지 최고의 충실도를 제공하기만 하면 됩니다. 그렇죠? 그리고 그 과정에서 어떠한 정보도 잃지 않는 것이 우리를 흥분시키는 것입니다. 네, 그리고 레이 트레이싱을 켜고 사이버펑크를 플레이하고 싶습니다. 우리는 프레임 비용을 지불하지 않고 차세대 렌더링, 더 많은 사실주의를 실현하는 기술을 연구하고 싶습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 그리고 실제로, 그런 종류의 작은 후속 조치가 생각납니다. 따라서 DLSS 및 FSR과 같은 다른 렌더링 기술에는 이러한 성능 모드와 품질 모드가 있습니다. 그래서 너희들도 그런 일을 하려고 하는 거냐? 아니면 그냥 표준 XeSS가 될 것입니까? 사용자는 메커니즘 측면에서 무엇을 기대해야 합니까? 슬라이더가 될 것 같습니까? 품질 모드에서 성능 모드가 될 것입니까 아니면 그냥 XeSS를 켜고 끄는 것입니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 이 시점에서 FSR과 DLSS 모두에 품질 모드가 있으므로 품질 모드가 있습니다. 따라서 사용자가 익숙해지면 동일한 기능을 지원할 것입니다. 그래서 우리는 그것을 지원할 것입니다. 그러나 저는 또한 이러한 다양한 모드, 성능, 품질, 초고화질에서 놓칠 수 있는 한 가지 사실을 지적하고 싶었습니다. 바로 여러분이 정말로 원하는 것은 시각적 경험을 앗아가지 않는 초고화질 성능 모드와 같은 것입니다. </li><li><br></li><li>그리고 이러한 설정이 FSR, DLSS 전반에 걸쳐 모든 게임에서 작동하는 방식은 입력 해상도만 제어한다는 것입니다. 따라서 초고화질은 더 높은 해상도에서 입력을 실행하여 더 많은 픽셀을 생성합니다. 품질은 약간 더 적은 수의 픽셀을 생성하고, 균형은 더 적은 수의 픽셀을 생성하고, 성능은 가장 적은 수의 픽셀을 생성합니다. 그리고 어떤 면에서는 업스케일링 기술의 기능을 반영합니다. 품질 또는 울트라 품질로 실행 중인 경우 업스케일링 기술이 수행할 작업이 많지 않습니다. 대부분의 픽셀은 이미 알고 있으며 더 저렴한 업스케일링 기술로 벗어날 수 있습니다. 최고 품질의 렌더링으로 초당 60프레임의 잠금을 해제하는 종류의 성능으로 내려가기 시작할 때 바로 여기에서 업스케일링 기술의 기능이 실제로 나타나기 시작합니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: XeSS 개발을 위해 인텔은 어떻게 업스케일링된 그래픽의 품질을 정량적으로 측정합니까? 아니면 모든 것이 주관적인 것입니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 우리는 둘 다 합니다. 우리는 사용자 테스트를 수행하고 우리가 사용하는 일련의 정성적 메트릭을 가지고 있습니다. 또한 우리가 사용할 수 있는 몇 가지 정량적 메트릭이 있으며 최소한 PSNR(Picture Signal to Noise Ratio)과 같은 것이 있지만 현재 사용할 수 있는 고급 메트릭이 있으며 이를 정량적 분석에 사용하지만 충분하지 않습니다. 사용자 인식, 특히 게임과 관련하여 완벽한 지표는 없습니다. 따라서 우리는 항상 사용자 테스트에도 상당한 양을 의존해야 합니다. 우리는 이것을 테스트하고 또 다른 수준의 이미지 품질 검증을 얻기 위해 우리의 능력 내에서 할 수 있는 모든 일을 합니다. 이미 PSNR과 같은 매우 기본적인 메트릭이 있지만 이미지 품질 평가와 관련하여 이는 표면을 긁는 것일 뿐입니다. 지각 메트릭과 같이 오늘날 우리가 사용할 수 있는 고급 메트릭이 있습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: Intel의 ARC Alchemist GPU가 출시되는 1일 차에 XeSS를 타이틀/게임 엔진에서 사용할 수 있습니까? 아니면 나중에 사용할 수 있습니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 아직 자세히 설명하지 않았기 때문에 이에 대해 언급할 수 없습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: XeSS XMX 구현은 Tensor Cores(NVIDIA)와 같은 경쟁 하드웨어를 활용합니까?</td></tr></tbody></table><p><br></p><ul><li>카르틱: 아, 아닙니다. 크로스 플랫폼인 Matrix 가속에 대한 표준화가 있을 때까지는 모든 종류의 Matrix 가속 하드웨어에서 실행되는 무언가를 구축하는 것이 쉽지 않습니다. DP4a는 모든 플랫폼에서 이를 지원하는 단계에 도달했습니다. 확실히 모든 최신 플랫폼에서. 그래서 우리가 훨씬 쉬워졌습니다. 그러나 매트릭스 가속은 같은 단계에 있지 않습니다. 따라서 XMX를 대상으로 하는 매트릭스 구현은 인텔에 따라 다릅니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: XeSS는 FP16 또는 FP32 폴백으로 XMX 또는 DP4a를 지원하지 않는 하드웨어에서 작동합니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 아니요, 지금은 안됩니다. 우리는 그것을 조사할 것이지만, 현재로서는 아무것도 약속할 수 없습니다. 할 수 있었다고 해도 성능과 그것이 정당한지에 대한 큰 문제가 있습니다.</li></ul><p><img src="https://img2.quasarzone.com/editor/2021/08/25/1974c4f6b7dbbe37a89e00c9230a2aa2.png" alt="퀘이사존"><br></p><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: XeSS 모델은 어떤 해상도로 훈련되었습니까? 문맥상 NVIDIA DLSS는 16k에서 훈련되었습니다.</td></tr></tbody></table><p><br></p><ul><li>Karthik: 매우 흥미로운 질문입니다. 다르게 표현하자면, 우리는 픽셀 기준 이미지당 64개의 샘플로 훈련하고 그것이 더 합리적이라고 생각합니다. 우리가 일치시키려고 하는 것은 64x SSAA입니다. 그것이 우리가 네트워크를 훈련하는 데 사용하는 것이며, 이를 보는 또 다른 방법은 전체가 되는 샘플의 수입니다. 따라서 NVIDIA가 16k 이미지라고 말할 때 픽셀 내부에 있는 샘플 수로 변환한다고 가정합니다.</li><li><br></li><li>그래서 우리의 관점에서 말할 수 있습니다. 픽셀당 샘플이 64개인 참조 이미지로 훈련합니다.</li><li><br></li><li>자, 이제 그로부터 해상도를 얻고 싶다면 수학을 할 수 있습니다. 64는 X와 Y의 8개 샘플이므로 32k가 된다는 것을 알 수 있습니다. 알겠습니다. 하지만 32k라고 부르지 않겠습니다. 왜냐하면 우리가 하고 있는 것은 효과적으로 모든 샘플이 동일한 픽셀에 기여하기 때문입니다. 64개의 샘플이 모두 동일한 픽셀에 기여한다고 생각합니다. 그러나 네, 효과적으로 32k 픽셀은 우리가 훈련하는 데 사용하는 것입니다. 하나의 이미지에 대한 참조를 만드는 데 사용한 것입니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: XeSS는 4k 이상의 해상도에서 작동합니까? 말하자면 8k?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 그것은 확실히 우리 로드맵에 있습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: DP4a는 SM6.4가 있는 DX12에서 직접 작동하며 XMX 버전은 Metacommands가 있는 DirectML을 통해 어떻게 노출됩니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 흥미로운 질문입니다. 먼저 DP4a 버전과 XMX 버전 모두 동일한 API를 통해 노출된다는 점을 지적하고 싶습니다. 통합에 관한 한 실제로 동일합니다. 동일합니다. 게임 엔진에 표시되는 것은 동일한 인터페이스이며 해당 인터페이스 아래에서 플랫폼에 따라 DP4a 또는 XMX 버전을 선택할 수 있습니다. 그래서 나는 그것이 두 개의 다른 인터페이스가 아니라는 것을 분명히 하고 싶었습니다. 동일한 인터페이스와 동일한 라이브러리 내부에 두 개의 다른 경로가 통합되어 있어 게임 개발자가 훨씬 쉽게 사용할 수 있습니다.</li><li><br></li><li>이제 귀하의 질문에 왔습니다. 예를 들어 DP4a의 경우 SM 6.4 이상은 DP4a를 지원하고 SM 6.6은 8비트 데이터를 추출하고 8비트 데이터를 패킹하기 위해 이러한 패킹 내장 기능도 지원합니다. 따라서 SM 6.6을 권장합니다.</li><li><br></li><li>우리는 DirectML을 사용하지 않습니다. 실시간으로 볼 때 보고 있는 성능의 종류를 확인하십시오. 100마이크로초라도 매우 중요합니다. 따라서 구현을 위해 구현 및 최적화의 경계를 실제로 확장해야 하며 해당 수준의 성능을 추출하기 위해 많은 사용자 지정 기능, 사용자 지정 계층, 사용자 지정 융합, 그리고 현재 형식의 DirectML이 필요합니다. 우리는 이러한 요구 사항을 충족하지 않지만 Matrix 가속과 관련된 표준의 발전을 기대하고 있으며 확실히 주시하고 있으며 XeSS에 대한 접근 방식이 실제 시간 신경망 환경에 대한 표준화 노력의 발판을 마련하기를 바랍니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: XeSS 작업은 언제 시작되었나요?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 연구를 시작한 시점부터 2년이 넘었습니다. 그냥 그렇게 말하자. 그래서 확실히 우리가 지난 1년이나 지난 몇 달 동안 모은 것이 아니라 한동안 계속되었습니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: 소프트웨어 개발 툴킷이 언제 출시될 것으로 예상합니까?</td></tr></tbody></table><p><br></p><ul><li>Nicolas: ISV(XMX)의 경우 이번 달 말에, DP4a의 경우 올해 말에 출시될 예정이지만 공개 릴리스는 아닙니다. 그리고 XeSS가 성숙해짐에 따라 우리는 모두를 위한 도구와 SDK를 공개할 것입니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: XeSS는 모든 게임의 드라이버 수준에서 적용됩니까? 아니면 게임 엔진에서 기본적으로 구현해야 합니까? 거의 모든 스팀 게임에서 FSR을 구현할 수 있는 도구에 대해 들어본 적이 있습니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: DLSS와 마찬가지로 게임 엔진에 통합되어야 합니다. 게임 엔진에서 숨길 수 있는 것이 아니므로 ISV와 협력하여 이를 게임에 적용해야 하며 가능한 한 쉽게 통합할 수 있도록 최선을 다하고 있습니다.</li><li><br></li><li>개발자 지원이 필요하지만 일반적으로 디스플레이에 더 가까운 파이프라인의 끝 부분에서 구현되는 슈퍼 샘플링 기술은 항상 더 많은 문제를 안고 있습니다. 나는 당신에게 명확한 예를 줄 수 있습니다. 포스트 프로세스로 도입된 필름 그레인 노이즈가 있다고 가정해 보겠습니다. 그 이후에 업스케일링 또는 슈퍼 샘플링 솔루션을 적용하려는 시도가 매우 어려워집니다.</li><li><br></li><li>따라서 예를 들어 디스플레이 바로 옆과 같은 업스케일링 솔루션으로 이와 같은 것을 구현하더라도 게임 엔진이 일종의 사후 처리를 수행하여 이를 깨뜨리는 것을 알면 항상 이와 같은 시나리오가 있을 것입니다. 따라서 렌더에 더 가까이 있으면 지난 시간에 논의한 것처럼 최상의 결과를 생성하는 데 필요한 제어 가능성의 양과 함께 가장 충실도가 높은 정보를 얻을 수 있습니다.</li></ul><p><br></p><p><img src="https://img2.quasarzone.com/editor/2021/08/25/fed47a96b201a1e884fa3d1cc63c121d.png" alt="퀘이사존"><br></p><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: XeSS는 DLSS에 비해 구현하기가 얼마나 어렵습니까?</td></tr></tbody></table><p><br></p><ul><li>Karthik: 비슷해야 하고 다른 방식으로 볼 수 있습니다. 따라서 이미 TAA를 구현하는 게임의 경우 XeSS와 같은 것을 통합하는 것은 TAA 구현에 필요한 모든 부분을 이미 가지고 있기 때문에 약간의 노력만 하면 됩니다. 모션 벡터가 있는 것처럼 지터가 있습니다. 따라서 게임에 이미 TAA 구현이 있는 경우 모든 종류의 슈퍼 샘플링 기술에 대한 모든 부분을 통합할 수 있습니다. 그래서 그것은 현재 꽤 큰 게임 세트입니다. TAA는 사실상 앤티앨리어싱의 표준이 되었습니다. 따라서 이미 TAA가 있는 모든 게임의 경우 XeSS 또는 슈퍼 샘플링 기술을 몇 가지 수정으로 통합하는 데 필요한 부분이 이미 있지만 이는 약간의 수정입니다.</li></ul><p><br></p><table class="table table-bordered"><tbody><tr><td>Usman: Karthik과 Nicolos에게 정말 감사합니다. 이게 제 쪽의 마무리입니다.</td></tr></tbody></table><p><br></p><p>
</p>

띠띠에

행성: 우주망원경

포인트: 127,361 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 2개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

20.9k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
12	인텔 불안정 이슈를 향한 두 번째 법적 대응이 시작되다 10 CPU/MB/RAM QM포시포시 771 03:37
0	애플, '태국 왜곡 논란' 광고 영상 삭제…"악의 없었다" 사과 업계동향 큰돌 397 01:22
0	중국은 올 여름 칩 팹 도구의 '기본'자급 자족을 달성 할 것 업계동향 블랙웰 311 00:11
1	엘리엇, 엔비디아의 치솟는 AI 기업가치는 '거품'이며 '과장된 것' 1 업계동향 블랙웰 735 00:10
2	퓨젯, 인텔 CPU 고장율이 AMD Ryzen 고장율보다 낮다고 주장 5 CPU/MB/RAM 블랙웰 1.7k 00:08
12	인텔은 2022년 말 CPU 산화 문제 확인, 해결되었다고 주장하지만 공급망 불확실성 여전 14 CPU/MB/RAM Wormhole 1.2k 00:02
1	빅테크 기업들, AI에 얼마나 투자할까 1 소프트웨어 블랙웰 274 00:00
0	현대차 아이오닉5N, 전기차 최초로 日 '후지 스피드웨이' 달린다 기타/주변기기 블랙웰 476 00:00
5	AMD Ryzen 9 9900X CPU, PassMark에 첫 등장 3 CPU/MB/RAM Wormhole 1.3k 08-03
2	손에 잡힐 듯 생생한 AR/VR 양자점 디스플레이 "눈앞" 2 디스플레이 빌보 425 08-03
30	[루머] 엔비디아, GeForce RTX 3060 단종 예정 35 그래픽카드 Wormhole 2.9k 08-03
19	[단독] “창문에 먼지만 가득” 싱가포르 큐텐 본사 가보니…텅 빈 ‘유령회사’ 22 업계동향 빌보 3.1k 08-03
21	Puget Systems, CPU 불량 통계 공개...13/14세대 불량률 2% 내외 34 CPU/MB/RAM QM포시포시 2.8k 08-03
15	일론머스크 차세대 랩터엔진 공개 13 기타/주변기기 리사수♥젠슨황 3.9k 08-03
89	인텔의 주가가 하룻밤 사이에 30% 하락, 시가 총액 390억 달러 하락 104 업계동향 Wormhole 12.2k 08-03
5	첫 번째 루나 레이크 Core Ultra 5 226V 노트북 ACER Swift 14 1008유로에 등록 4 노트북 Wormhole 1.4k 08-03
0	Acemagic X1 듀얼 스크린 인텔 기반 노트북 899달러부터 시작 노트북 Wormhole 653 08-03
18	구조조정 인텔, 승승장구 AMD…'CPU 투톱' 엇갈린 운명 27 업계동향 큰돌 3.8k 08-03
17	인텔 고객이 CPU RMA 프로세스를 한탄하다 10 CPU/MB/RAM Wormhole 3k 08-03
7	CHERRY XTRFY, 최고 성능의 M64 및 M68 무선 게이밍 마우스 출시 9 키보드/마우스 Wormhole 921 08-03
6	"한국은 기본법도 없는데"…EU, 세계 최초로 AI 법안 발효 9 소프트웨어 블랙웰 2.1k 08-03
17	중국산 배터리 탑재 벤츠 전기차 '펑' 터졌다 26 기타/주변기기 블랙웰 2.6k 08-03
9	인텔, 데이터 센터 CPU 및 파운드리 사업부의 부진으로 16억 달러 손실 10 업계동향 Wormhole 2.1k 08-02
12	미국 법무부, 엔비디아 반독점 조사 착수 11 CPU/MB/RAM Wormhole 2.4k 08-02
16	[루머] 인텔, 곧 엔비디아를 파운드리 고객으로 확보, 월 5000장 H100 웨이퍼 생산 가능성 20 업계동향 Wormhole 5.6k 08-02
5	팬서 레이크와 클리어워터 포레스트 부팅 성공, 루나 레이크는 거의 완전히 아웃소싱됨 6 CPU/MB/RAM Wormhole 1.2k 08-02
25	AMD "엔비디아, 고객사에 갑질" 신고…美 법무부 조사 나서나 47 업계동향 QM포시포시 3.6k 08-02
39	[단독] 다나와, 티몬·위메프 사태에 PC 부품 직접 유통 검토 68 업계동향 빌보 8.8k 08-02
12	수율 문제로 공급 부족에 시달리는 메테오 레이크, 인텔은 핫 로트 운영 17 CPU/MB/RAM Wormhole 2.6k 08-02
15	애플, 3분기 실적 발표 8 업계동향 Wormhole 2.5k 08-02