
오늘날 인공지능 기술을 피할 수는 없으며 , 컴퓨터 업계의 거물인 엔비디아가 이 막대한 수익을 창출할 미래 기술을 자사의 게임 업계 전통과 결합하려 할 때마다 논란이 끊이지 않습니다. 엔비디아의 최신 DLSS 5 기술은 그 대표적인 예로, 기존의 인공지능 기반 프레임 생성 및 업스케일링 기술을 넘어 자체적으로 "사실적인" 픽셀을 생성하여 원본 텍스처와 조명을 대체합니다.
PC와 콘솔 게임 산업이 앞서나가면 스마트폰도 곧 그 뒤를 따를 것입니다. 머지않아 점점 더 많은 스마트폰 게임들이 프레임 생성이나 업스케일링 같은 AI 기반 기능을 활용하여 성능과 화질을 향상시킬 것입니다. 저는 회의적이면서도 흥미롭습니다.
Arm은 향후 출시될 GPU에 탑재될 새로운 AI 그래픽 기능을 예고하고 있습니다. 이와 관련하여 Arm은 최근 새로운 기술 쇼케이스인 Neural Dawn을 공개했습니다. Arm과 Sumo Digital이 공동 개발한 Neural Dawn은 Arm의 뉴럴 기술을 활용하여 Unreal Engine의 MegaLights를 구현한 최초의 모바일 게임이 되었습니다. MegaLights는 실시간 동적 조명과 레이 트레이싱 그림자를 결합하여 콘솔급 그래픽 품질을 제공합니다. 기술 데모 영상에서 보이는 조명 효과는 정말 인상적입니다.
Arm의 뉴럴 테크놀로지 레이어를 더 자세히 살펴보면, 모바일 환경에 맞춰 간소화된 DLSS와 유사한 개념들을 발견할 수 있습니다. Arm의 뉴럴 슈퍼 샘플링(NSS)은 540p 해상도를 1080p로 업스케일링하는 데 프레임당 단 4ms밖에 걸리지 않아, GPU 리소스를 조명 및 기타 효과에 활용할 수 있도록 해줍니다. 뉴럴 슈퍼 샘플링 및 노이즈 제거(NSSD)는 레이 트레이싱에서 발생하는 노이즈를 제거하고, 뉴럴 프레임률 업스케일링(NFRU)은 중간 프레임을 생성하여 기본 프레임률 30fps를 60fps에 가깝게 보이도록 합니다.

다만 한 가지 유의할 점은 Arm 측에서 이번 시연은 올해 말 출시될 차세대 Mali GPU를 위한 것이라고 밝혔기 때문에, 해당 기능의 이점을 누리려면 새로운 플래그십 스마트폰 으로 업그레이드해야 할 가능성이 높다는 것입니다.
하지만 AI 기반 성능 향상 기능을 선보이는 모바일 GPU 업체는 Arm뿐만이 아닙니다. 퀄컴의 차세대 AI 프레임 퓨전 (AIFF)은 스냅드래곤 게임 슈퍼 해상도의 개선된 버전으로, 프레임 생성과 해상도 업스케일링을 모두 지원합니다. 퀄컴의 AIFF 기술이 흥미로운 점은 GPU 또는 NPU(사용 가능한 경우) 모두에서 실행될 수 있어 잠재적으로 성능을 향상시킬 수 있다는 것입니다.
애플의 MetalFX 업스케일링은 더 가벼운 뉴럴 공간 업스케일러와 비AI 시간 옵션을 사용하여 아이폰과 아이패드에서 레지던트 이블이나 노 맨즈 스카이 같은 게임을 구동할 수 있도록 합니다. 마찬가지로 미디어텍의 HyperEngine은 AI 기반 가변 레이트 셰이딩과 레이 트레이싱을 제공합니다. 인기 있는 PC 에뮬레이터인 GameNative조차도 최신 빌드에 무손실 스케일링 프레임 생성(LSFG)을 통합했는데 , 이는 "뉴럴" 또는 AI 기능이 필요 없이 기존 GPU 레이어에서 Vulkan을 사용합니다.
스마트폰 개발은 아직 초기 단계에 있지만, 이 기술은 모바일 게임 산업의 핵심 요소로 자리 잡을 것으로 보입니다.
인공지능이 모바일 게임이 콘솔 게임과의 격차를 줄이는 데 도움이 될 수 있을까요?
그렇다면 모바일 게임에는 어떤 이점이 있을까요? 사실, 이점이 많습니다. 기본 해상도가 낮아지면 GPU 부하가 줄어들고 발열도 감소하며 성능 저하(스로틀링)도 줄어듭니다. 이것만으로도 엄청난 이점인데, 모바일 게임에서 가장 큰 문제점은 지속적인 성능 유지이기 때문입니다. 게다가 프레임 생성 기술을 통해 120fps의 부드러운 구동이 가능해지므로, 발열이나 전력 소모 증가 없이 고주사율 디스플레이 의 잠재력을 최대한 활용할 수 있습니다 . 어떤 면에서는 모바일 게임이 PC 게임보다 이 기술의 혜택을 더 많이 누릴 수 있다고 볼 수 있습니다.
하지만 이러한 전망이 아무리 유망해 보여도, 모바일은 그 자체로 여러 기술적 과제를 안고 있어 말처럼 쉽지 않습니다.
우선, 프레임 생성은 저성능 문제를 해결하는 마법의 만병통치약이 아닙니다. PC 분야에서 이 기술을 사용해 본 사람이라면 누구나 알겠지만, 프레임 생성은 이미 안정적인 프레임 속도를 더욱 부드럽게 만드는 데 가장 효과적이지만, 기본 프레임 속도가 낮을 때는 높은 지연 시간과 끊김 현상에 여전히 어려움을 겪습니다.
프레임 속도가 높으면 좋긴 하지만, 모바일 기기에서 가장 큰 장점은 전력 소모와 발열이 적다는 점입니다. 예를 들어, 프레임 생성은 60fps를 디스플레이의 120fps 주사율로 보간하는 데 매우 효과적입니다. 이는 이상적인 경우입니다. 하지만 30fps 기준 프레임에서 60fps로 끌어올리기 위해 프레임 생성을 사용하는 것은 훨씬 위험합니다. 추가되는 지연 시간 때문에 프레임 카운터에는 그렇지 않더라도 결과적으로는 느리게 느껴지기 때문입니다. Arm과 Qualcomm 모두 30fps를 기준 프레임으로 삼겠다고 언급했는데, 이는 다소 우려스러운 부분입니다.
하지만 제대로 구현된다면 프레임 생성은 PC 게임보다 모바일 게임에서 훨씬 더 강력한 도구가 될 수 있습니다. 60fps로 렌더링하면 120fps로 완전히 렌더링하는 것보다 GPU 작업량이 적고 배터리 소모량도 적으며 발열도 적습니다. 이것이 바로 많은 모바일 게임이 기본 설정으로 프레임 제한을 두는 이유입니다.
AI 업스케일링은 최적화 부족이나 그래픽 성능 부족 문제를 해결하는 만능 해결책은 아닙니다. 마찬가지로, AI 기반 해상도 업스케일링도 흐릿한 이미지를 선명한 이미지로 바꿀 수는 없습니다. Arm과 Qualcomm 모두 저해상도 540p 이미지를 선명한 1080p로 변환하는 사례를 제시했지만, 이는 AAA급 그래픽과 구별할 수 없을 정도의 수준을 암시하는 것이라면 다소 허황된 주장일 수 있습니다.
하지만 스마트폰은 고해상도가 아니더라도 선명한 화면을 구현할 수 있는 작은 화면의 장점을 분명히 가지고 있습니다. 예를 들어 720p 해상도는 6인치 패널에서 특히 움직이는 영상에서 선명하게 보입니다. 720p를 1080p 또는 모바일 패널의 기본 해상도인 1440p로 업스케일링하면 훨씬 더 인상적인 화질을 제공하며, 성능 저하 없이 더 큰 화면으로 확대하는 것도 가능합니다.
이것이 단순한 기술 데모 이상의 의미를 갖게 될까요? 
모바일 게임 업계의 가장 큰 난관은 기술 자체에 있는 것 같지는 않습니다. 적어도 Arm과 Qualcomm의 데모를 보면 그렇습니다. 더 큰 문제는 이러한 기술을 실제로 구현하여 우리가 즐겨하는 게임에서 지원하는 것일 가능성이 높습니다.
이 문제에는 두 가지 측면이 있습니다. 첫째, 이러한 새로운 AI 기능을 지원하는 하드웨어는 향후 출시될 GPU 또는 현재 시장 최상위급 제품에만 국한되어 있습니다. 즉, 도입 시장이 낮은 수준에서 출발하기 때문에 대중 시장용 게임에서 가장 큰 수익을 올리는 게임 회사들이 이 기술에 투자할 가능성이 낮습니다. 따라서 이러한 기능이 주류 시장에 진입하기까지는 시간이 걸릴 것입니다.
마찬가지로, Arm과 Qualcomm의 툴은 Unreal Engine에 상당히 통합되어 있는 것으로 보입니다. Unreal Engine은 매우 인기 있는 선택지이긴 하지만 게임 개발자에게 유일한 옵션은 아닙니다. 다른 개발 플랫폼들도 결국 이러한 벤더별 SDK를 지원하게 될 수도 있지만, 그에 따른 비용을 정당화할 만한 작업량이 필요합니다. 모바일 기술, 특히 AI 분야에서는 벤더별 API와 툴체인으로 인해 훌륭한 기술의 대중화가 매우 어려운 문제가 지속적으로 발생하고 있습니다. 게임 분야에서는 이러한 변화가 훨씬 더 실질적인 이점을 가져다주기를 바랍니다.
모바일은 콘솔이나 PC보다 DLSS와 같은 도구를 통해 얻을 수 있는 이점이 훨씬 더 많습니다. 지나치게 비관적인 전망은 아닙니다. 어떤 신기술이든 도입에는 시간이 걸리기 마련이며, 프레임 생성 및 해상도 업스케일링 기술은 고성능 PC나 콘솔보다 모바일 기기에 훨씬 더 큰 가능성을 제시합니다. 만약 이 기술이 잠재력을 충분히 발휘한다면, 모바일 게임 엔진이 빠르게 도입하지 않을 이유가 없습니다.
개인적으로, 스마트폰에서 고화질 게임을 부드럽게 실행하고 배터리 소모와 발열을 줄일 수 있다면, 약간의 "가짜" 프레임과 업스케일링된 이미지 품질 정도는 기꺼이 감수할 수 있습니다. |