모션 보간, 플루이드 모션이 대체 뭐길래? SVP 4 Pro를 통해 한 번 알아보자

120프레임으로 뭘 본다고?

퀘이사존 QM크크리
57 3216 2021.07.16 16:17


퀘이사존



    안녕하세요. QM크크리입니다. 오늘은 SVP 4 Pro를 사용한 모션 보간에 대해 알아보는 자리를 마련했습니다.


    '원활한 영상 감상을 위해 초당 몇 장면FPS을 보여줘야 충분한가?'는 영상 연구와 게임 분야에서 나름 오래된 논쟁입니다. TV로 자연경관을 감상하는 상황을 이용한 전통적인 연구에서는 50~90Hz1)면 충분하다고 하지만, 미국 공군의 한 훈련 결과에서는 220분의 1초만 보여준 전투기를 식별하는 데 성공하여 사람이 220Hz 이상의 영상을 구별할 수 있다는 근거로 거론되기도 합니다. 후자는 해외 유명 게임 유튜버 중 한 명인 LevelCapGaming이 언급한 것으로 인해 알게 된 분들도 있을 것입니다. 그 외에도 과거 영국 공영 방송 BBC에서 스포츠 중계의 박진감 넘치는 장면의 생생한 전달을 위해 300Hz 송출을 시험해본 바도 있다고 합니다.

1) Hz(헤르츠): 초당 몇 회 반복되는가를 뜻하는 국제 표준 단위입니다. 반면, FPS(Frame per Second)는 말 그대로 초당 몇 장면(프레임)이냐를 뜻하는 말입니다. 따라서 이 경우에는 표현 방식의 차이일 뿐 같은 뜻이 됩니다.


    Xbox 개발자가 왜 30 FPS가 충분하지 않는지를 설명한 기사는, 사람 눈의 해부학적 구조를 통해 FPS 요구를 분석하고자 한 시도입니다. 원문은 “왜 영화가 48fps에서 이상하게 보이고, 게임이 60fps에서 더 낫고, ‘불쾌한 골짜기’란 게 있는지…(Why movies look weird at 48fps, and games are better at 60fps, and the uncanny valley…)”이며, 아래 첨부 그림은 해당 기사에서 인용한 논문의 도해입니다.




퀘이사존

▲ 전공자가 아니면 각각의 이름만 확인하는 것도 일일 정도로 여러 구조가 복잡하게 구성되어 있습니다.

출처: accidental scientist(바로 가기)


    게임의 경우 최근엔 360, 390Hz 모니터도 출시되었고, 9세대 게임기들이 120Hz 출력을 지원하는 상황입니다만, 영상, 특히 영화의 경우에는 여전히 24프레임으로만 제공되는 경우가 절대다수입니다. 비록 호빗 실사영화 시리즈를 필두로 48프레임 HFR(High Frame Rate)이 대두되기도 했으나, 많은 논란과 반발에 부딪혀 찻잔 속의 태풍으로 그치는 것 같아 보이기도 합니다. 수십 년 전 영상과 소리를 같이 제공하는 유성 영화 태동기에, 그저 당시 아날로그 기술로 표준화가 쉽다는 이유만으로 도입된 24프레임이 4K를 넘어 8K를 바라보는 지금까지도 영화를 지배하고 있습니다.

    이는 이미 도입한 고가 24프레임 장비 뿐만의 문제가 아니라, 이미 24프레임에 익숙하고 그 특유의 느낌을 ‘영화답다’고 받아들이는 분들이 많기 때문이기도 합니다. 심한 경우 호빗처럼 애초에 48프레임으로 촬영된 영화조차 ‘영화가 아닌 드라마 같다’, ‘영화가 아니라 세트장의 배우들을 직접 보는 것 같다’며 상당한 불호를 표하기도 합니다. 그러나 모든 사람의 취향이 같을 수는 없습니다.

    이제는 120프레임으로 촬영하여 개봉한 영화들도 조금씩 나오고 있으며, 할리우드의 거장 제임스 캐머런(제임스 카메론으로도 알려진) 감독의 기대받는 차기작 "아바타 2"도 일부 장면을 120프레임으로 촬영할 것으로 알려져 있습니다. 영화 산업 소식지 IndieWire가 2019년에 보도한 바(바로 가기)에 따르면, 캐머런 감독은 비록 모든 장면을 120프레임으로 촬영할 필요성은 인정하지 않더라도, 카메라 팬과 같은 일부 장면에서 높은 프레임률이 해답이 될 수 있음을 공감하는 것으로 보입니다.


 


퀘이사존 

▲ “타이타닉”, “아바타” 등으로 유명한 제임스 프랜시스 캐머런 감독



퀘이사존
▲ 비록 코로나19 사태로 인해 또 미뤄지긴 했지만, 역대 흥행 1위 영화 중 하나인 "아바타"의 후속작으로서 “아바타 2”는 막대한 기대를 모으고 있습니다.





▲ 이 영상의 도입부처럼, 카메라가 이동하면서 풍경을 보여주는 촬영 기법은 프레임률 변화에 가장 극적인 결과를 보여줍니다.
영상 출처:
유튜브 채널 Dunia(바로 가기)


    사실 더 높은 FPS를 요구하는 목소리는 게임뿐만 아니라 영상 분야에서도 예전부터 있었으며, 이에 주목한 TV 업계와 일부 PC 관련 개발자들이 내놓은 대답이 실시간 모션 보간(Motion interpolation)입니다. 특정 프로그램의 기능을 이용해 영상을 한 장면(프레임)씩 넘겨본 적이 있는 분들은 아시겠지만, 장면이 전환되는 순간을 제외한 대부분의 장면은 그 직전 장면과 상당한 연관성을 가지고 있습니다. 사실 이는 H.264 등으로 알려진 영상 압축의 원리이기도 합니다. 이런 연관성을 이용해서 중간에 보여주지 않는 장면들을 추측으로 추가하는 기법이 바로 모션 보간입니다.




퀘이사존
▲ 연속한 두 프레임 간의 차이와 연관성을 분석하여, 보여주지 않은 ‘중간 장면’을 추측해서 만듭니다.

도해 출처: SmoothVideo Project 홈페이지(바로 가기)




퀘이사존

▲ 각 프레임 사이에 보여주지 않은 장면을 추가하면 더 부드러운 영상을 볼 수 있습니다.

    그래픽카드, 특히 AMD 라데온 시리즈에 관심 있으신 분들은 모션 보간에 관한 언급을 보자마자 플루이드 모션(AMD fluid motion)을 먼저 생각하였을 것입니다. 플루이드 모션은 방금 위에서 설명한 모션 보간을 AMD GCN 설계 구조에 최적화된 구현으로 실행하여 60프레임 출력을 제공하는 기능이며, 위에 예시로 보여드린 유튜브 영상도 플루이드 모션의 비교 기능을 사용한 결과입니다. 원래 플루이드 모션은 사이버링크 PowerDVD와 제휴하여 해당 소프트웨어 전용 기능으로 제공되었으나, 사제 영상 처리 필터인 BlueskyFRC란 프로그램을 통해 다른 재생기에도 쓸 수 있게 되면서 라데온 그래픽 카드의 전매특허 기능으로 언급되던 시절도 있었습니다. 하지만 사이버링크와의 계약이 끝났는지, 신형 RDNA 설계 구조가 적용된 RX 5000 시리즈와 그 이후의 최신 라데온 그래픽 카드에서는 지원되지 않습니다.

    이에 대한 대안으로 거론되는 프로그램 중 대표적인 하나가 SmoothVideo Project(SVP)입니다. SVP 자체는 플루이드 모션이 나오기 훨씬 전부터 러시아에서 개발되어 알음알음 사용되던 무료 보간 프로그램으로, 아주 오래전에 접하신 분들은 러시아어로만 쓸 수 있거나 영어까지만 지원하던 시절을 기억할지도 모르겠습니다. 이후 클라우드 모금으로 내부 구조를 미래 지향적으로 다시 개발한 SVP 4 버전이 나오고 한국어 지원도 추가되면서 점점 더 알려졌고, 플루이드 모션이 한창일 때도 게임용으로 지포스를 사용하는 분들을 위한 대안으로 소개되기도 하였습니다.

    다만 유료화 초기에는 제공하던 기능 제한 무료 판이 없어지고, PC 사용자의 대부분을 차지하는 MS 윈도우나 애플 맥OS 시스템에서는 30일 체험 기간 외에는 19.99달러로 구매해야 하며, 추가 기기당 10달러를 결제해야 쓸 수 있습니다. 매년 11월 말 블랙 프라이데이 때 할인을 진행하니 이때까지 기다릴 수 있다면 좀 더 저렴하게 구매할 수 있습니다.

    그 대신 구매 전 30일의 체험 기간을 이용해 그 기능을 모두 사용해볼 수 있으며, 개발자 측에서도 공개적으로 권장하고 있습니다.(“Please try before buy”)




퀘이사존

▲ 화면 왼쪽 아래에 평가판임을 알리는 워터마크가 계속 보이지만, 기능상 제약은 없습니다.


    한 번 구매한 사용권은 전용 페이지에서 손쉬운 관리를 제공하여 언제든지 클릭 한 번으로 회수revoke할 수 있습니다. 현재는 유료화 초기화 시절 비자(퀘이사존), 마스터카드(퀘이사존) 카드 해외 결제 기능이나, 페이팔(퀘이사존) 같은 결제 서비스를 이용해야만 했던 것과 달리, 문화상품권 결제도 가능한 등 구매 방법상의 편의도 개선된 편입니다.




퀘이사존

▲ 현재 SVP는 리눅스 시스템에서만 무료입니다. 출처: SVP 구매 페이지(바로 가기)




 퀘이사존
▲ 다양한 결제 수단을 지원하며, 국내 은행 계좌 이체나 문화상품권도 사용 가능한 것으로 보입니다.




퀘이사존

▲ 일단 구매한 사용권은 전용 페이지에서 손쉽게 관리할 수 있습니다.

여러 기기에서 동시에 사용하기 위한 추가 사용권도 10달러로 구매 가능합니다.


    그 외에도 과거 배포된 무료 프로그램인 SVP 3을 구해서 사용하거나, SVPflow 플러그인을 직접 활용하는 스크립트를 작성하여 무료로 사용하는 방법, 아예 다른 프로그램을 활용하는 방법이나, 시간을 들여 영상 자체를 변환하는 방법 등도 있습니다. 여기서는 이야기를 간단히 하기 위해 SVP 4 Pro 영상 재생에 실시간으로 적용하는 방법을 통해 알아보고자 합니다.




퀘이사존


다중 코어 CPU, 범용 가속 기능을 제공할 GPU, 팟플레이어 등의 영상 재생기


    SVP를 이용한 영상 보간에 가장 먼저 필요한 것은 CPU 성능입니다. 다만 비교적 최근에 CPU를 구매하신 분이라면 SVP가 처음 등장할 당시에 비해서는 매우 성능이 높은 4코어 이상의 CPU를 사용하시는 분이 대부분일 테니 크게 걱정할 필요는 없습니다.

    GPU의 경우 범용 표준을 이용한 기본적인 가속 성능만 사용하기 때문에 사양 요구는 매우 낮습니다. 공식적으로는 인텔 6세대 내장 그래픽 정도로도 보간된 영상을 4K 60프레임으로 출력하기에 충분하다고 합니다. 그렇다고 해서 GPU 가속을 아예 안 쓰면 SVP 특성상 보간 품질도 떨어진다고 하고, CPU 요구 성능도 대폭 올라가게 되므로 GPU 가속 자체는 필수적이라 할 수 있습니다.


SVP 4 Pro 공식 내려받기 페이지 바로 가기


   최소한의 설치 프로그램만 내려받아DOWNLOAD 실행한 후, 설치를 시작할 때마다 온라인으로 최신 설치 파일을 자동으로 내려받아 설치하는 방식입니다. 다만 윈도우 사용자들은 Offline package 링크를 통해 전체 설치 파일을 내려받아 쓸 수도 있습니다. 설치에 필요한 내용이 모두 들어 있다는 점만 다르고, 설치 방식이나 설치하는 결과는 완전히 같습니다. 다만 Offline package로 설치한 후 업데이트가 안 되는 일도 드물게 있는데, 이런 경우에는 일단 제거한 후 기본 설치 방식으로 다시 설치하면 해결할 수 있습니다.




퀘이사존

▲ 기본적으로는 온라인 설치 파일을 실행해서 설치합니다.




퀘이사존

▲  첫 화면의 왼쪽 아래에 있는 설정Settings을 통해 저장소Repositories 설정을 바꿀 수 있습니다.


    첫 화면의 설정에선 딱히 바꿔줄 게 없습니다. 주 서버 속도가 느릴 경우 중국 서버를 체크해 주는 것이 도움이 될 수도 있습니다만, 주 서버에 CDN(콘텐츠 전송 네트워크)이 적용된 현재는 기본값 그대로 두고 신경 쓰지 않아도 일반적으로는 잘 설치됩니다.


    설치할 경로를 정해주고 넘어가면, 설치할 컴포넌트를 정해주는 페이지가 나옵니다.




퀘이사존


    다음 팟플레이어나 MPC-HC, BE 사용자는 필요한 모든 것이 기본적으로 선택되어 있으니 그냥 넘어가면 됩니다. 그 외에도 mpv, VLC 3 등 윈도우에서 영상 재생에 관심이 있는 분들이 많이 사용할만한 재생기들을 다양하게 지원하므로, 다른 동영상 재생기를 사용하는 경우 해당하는 부분을 체크해주면 됩니다.




퀘이사존


    바로 다음에 나오는 페이지는, MPC-HC와 madVR을 기본적으로 설치하도록 설정되어 있기 때문에 뜨는 설정들입니다. 팟플레이어나 MPC-BE를 쓰는 경우 맨 처음 옵션만 체크 해제하고 신경 쓰지 않으셔도 됩니다.


    다시 말씀드리자면, MPC-HC를 기본 재생기로 바꿔주는 설정이기 때문에 해제하라는 얘기입니다. 이전 페이지에서 개별 컴포넌트를 직접 선택하는 옵션(Switch to components selection)으로 들어가 세세하게 선택해줄 수도 있지만, 설명을 간단히 하기 위해 생략하겠습니다.




퀘이사존


    약관 페이지입니다. 약관 치고는 엄청 짧고 내용도 간단합니다. 체험판과 구매한 사용권에 대한 안내, 어떠한 종류의 보증warranty도 없이 있는 그대로as-is 제공함에 대한 고지, 포함된 오픈 소스 프로그램들의 라이선스에 대한 안내가 최소한으로 언급되어 있을 뿐입니다. 당연히 동의(I accept the license)를 선택해야 진행할 수 있습니다.




퀘이사존


    시작 메뉴에 만들 바로 가기 폴더의 이름을 선택하는 페이지입니다. 기본값인 'SVP 4' 그대로 진행해도 됩니다.




퀘이사존


    두 번 더 페이지를 넘어가면 실제로 설치를 시작합니다. 보통 몇 분 정도 걸립니다. 만약 기본 설치 방식에서 진행이 너무 느려 수십 분 이후에도 설치 완료를 기대할 수 없다면, 취소하고 다시 실행한 후에 맨 처음 설정Settings으로 들어가 중국 서버를 저장소Repositories로 사용하도록 시도해보는 것도 한 방법입니다.


 


퀘이사존


    설치 막바지에 뜨는 MPC-HC 설치 과정을 취소할 경우 오류 메시지가 뜨는데, 무시Ignore하고 그냥 진행해도 무방합니다.


 


퀘이사존


    설치가 완료되면 이제 실행할 수 있습니다.




퀘이사존


    기본적으로 평가판이 선택되어 있음으로 지금 등록하기!를 선택하면 자동으로 등록이 완료됩니다. 추후 구매할 경우 SVP 내에 라이선스 입력 메뉴에서 활성화할 수 있습니다.


 


퀘이사존


    등록 완료 후에는 성능 측정을 진행하라고 나옵니다. 기본 설정을 내 시스템에 맞게 자동으로 선택하기 위한 과정이므로 되도록 다른 프로그램들을 종료하고 시스템 사용률이 낮은 상태에서 진행하는 것이 좋습니다. GTX 1660 이상의 NVIDIA 그래픽카드 사용자라면 Optical Flow 옵션이 추가로 보일 텐데, 일단은 신경 쓰지 않고 그대로 진행하셔도 됩니다.

    여기까지 왔다면 일차적인 설정은 모두 완료한 셈입니다만, 보간 기능을 써보기 위해 한가지 과정이 남아있습니다. 바로 사용하는 동영상 재생기에서 SVP로 영상 정보를 넘겨줄 수 있도록 설정하는 부분입니다.




퀘이사존

 

    이것도 설정 자체는 간단합니다. F5키로 열 수 있는 환경설정에서 ‘코덱/필터’ 아래의 ‘전역 필터 우선 순위’로 들어갑니다. ‘시스템 코덱 추가’를 통해 AviSynth Filter를 찾아서 추가해주고, 우선순위를 ‘최우선 사용’으로 바꿔줍니다.

    참고로 공식 설명에는 ffdshow raw video filter를 쓰는 것으로 되어 있고, 그렇게 알고 계시는 분들도 많겠지만 해당 방식은 기능 한계로 한가지 크게 불편할 수 있는 부분이 있어서 AviSynth Filter 사용을 기준으로 진행하였습니다. 공식 뉴스 페이지에서 2020년 10월에 올린 공지도 궁극적으로는 ffdshow filter를 대체할 것을 예고하고 있습니다.(“we can finally move away from the good-old ffdshow”)




퀘이사존

 

    그리고 ‘비디오 코덱’ 설정에 있는 ‘내장 코덱/DXVA 설정’에 들어갑니다.




퀘이사존


    오른쪽 위에 있는 '하드웨어 가속(DXVA) 사용'을 활성화해주고, 아래에 있는 'DXVA2 Copy-Back'도 활성화해줍니다. Copy-Back은 여러 가지 옵션이 나올 수 있는데, ‘D3D11: 자동 선택’이 일반적으로 가장 무난합니다.

    이것으로 준비는 모두 되었습니다만, 영상을 재생하기 전에 SVP 자체 설정을 한 번 보도록 합시다.




퀘이사존


    SVP의 장점 중 하나는 다양한 설정을 쉽게 조절할 수 있다는 점입니다. 영상을 몇 프레임으로 보고 싶은지, 어느 정도 부드럽게 보간할 것인지, 지금 보는 영상이 영화 같은 실사 계열 영상인지 아니면 애니메이션 계열인지 등을 손쉽게 선택할 수 있습니다. 그리고 47프레임을 초과하는 영상은 보간하지 않는 설정이 기본으로 적용되어 있어서 원본 영상 자체의 프레임률이 높다고 성능 부족으로 버벅거리는 현상을 피할 수 있습니다.




퀘이사존


    기본적인 설정에서 가장 중요한 옵션은 목표 프레임률입니다. 왼쪽부터 모니터의 주사율에 맞추는 ‘화면 맞춤’, 영상 프레임의 2배(FPS x2), 2.5배(FPS x21/2), 추가 설정 열기 순으로 보여줍니다. 일반적으로 영상 자체 프레임률의 정수배를 맞추는 것이 보간하기 가장 쉬우므로 최선의 결과를 보여줄 가능성이 큽니다. 24프레임 영화라면 “영상 프레임 레이트 x3” 선택하고 72Hz나 144Hz 모니터에서 72프레임으로 보면 좋다는 얘기입니다. 다만 60Hz 모니터는 30프레임과 60프레임이 아닌 영상을 보여줄 때 모니터 쪽에서 타이밍이 어긋나는 문제를 체감할 가능성이 큰 편이기 때문에, 영상의 정수배가 맞지 않더라도 ‘화면 맞춤’을 선택하는 편이 더 나을 가능성이 있습니다.

    슬라이드 바는 내부적으로 복잡한 보간 설정들을 프리셋으로 조절할 수 있게 해놓은 것입니다. 무료 프로그램이던 SVP 3 시절 세세한 보간 설정을 일일이 조절해야만 했던 것을 개선한 방식입니다. 왼쪽으로 갈수록 성능을 위해 간단히 처리하는 방식이고, 오른쪽으로 갈수록 적극적으로 보간을 하는 설정입니다. 일반적으로는 처음 성능 측정을 할 때 자동으로 선택되어 있으니 신경 쓰지 않아도 됩니다.

    ‘최적화 할 영상의 종류’는 기본적으로 오른쪽의 ‘아티펙트 제거’ 설정에만 영향을 줍니다. ‘영화, 드라마등’은 ‘보통’이 기본값이고 애니메이션은 비활성화(X)로 아티펙트 제거를 하지 않는 설정이 기본값입니다. 일반적으로 가장 무난한 설정이므로 따로 세세한 조절을 생각할 필요 없이 감상할 영상의 종류에 따라 선택하면 됩니다.




퀘이사존


    Ignore HFR sources 프리셋에서 기본적으로 47프레임 초과 영상은 보간하지 않게 되어 있습니다. 이 설정을 바꿔서 프레임 기준을 60, 90프레임 이상으로 바꾸거나, ‘프레임 레이트 변환 가동’을 선택한 후 옵션을 조절해서 47프레임 초과 영상은 별도의 보간 설정으로 작동하게끔 바꿀 수도 있습니다. 120Hz 이상의 주사율을 가진 모니터를 사용 중이라면 이를 활용해볼 수 있습니다. 설령 성능 부족으로 문제가 생긴다 하더라도 언제든지 원래 설정으로 되돌릴 수 있으니 겁낼 필요 없습니다.


 


퀘이사존


존중입니다. 취향해 주시죠.




퀘이사존

▲  이미지 출처: “어벤져스: 엔드게임”

 

    이제 ‘미국적인 엉덩이’를 120프레임으로도 감상할 수 있습니다, 브라보!..................는 물론 농담입니다만, 아무래도 모션 보간의 효과는 직접 봐야만 느낄 수 있는 점이 대부분이다 보니 글이나 이미지로 설명하는 데 한계가 뻔한 문제가 있습니다.

    그나마 유튜브에 ‘SVP compare’ 같은 키워드로 검색하면 비교 영상들을 찾아볼 수 있습니다만, 해당 영상에 사용한 버전이나 설정을 알기 힘들고 60프레임으로만 비교할 수 있다는 한계가 있습니다. 물론 60Hz 모니터라면 그것만으로도 충분할 수 있고, 120Hz 이상 사용자라도 어느 정도 참고는 할 수 있습니다.

    그보다 중요한 문제는 ‘나 자신’이 보간된 영상을 원하느냐일 것입니다. 영상은 기본적으로 제작자가 만든 그대로 감상하며, 이를 전제로 만듭니다. 게이머가 직접 플레이하는 ‘상호 작용’을 전제로 하고, 다양한 PC 사양을 고려하여 여러 옵션을 조절할 수 있는 PC 게임 환경과는 근본적으로 다른 조건입니다. 그래서 144Hz, 240Hz로 영상을 보간하는 것은 144Hz, 240Hz 등의 게임용 고 주사율 모니터와는 다른 이야기이기도 합니다. 일례로 유명 영화배우 톰 크루즈는 모션 보간 기능을 지원하는 제품들에 무조건 활성화해놓고 이를 안내하지 않는 TV 업계에 반발하여 보간 기능을 꺼달라는 트위터 영상을 올리기도 했습니다. 보간하지 않은 영상이 감독이 의도한 ‘원래 영상’이라는 이야기입니다.

    다만 예전부터 영상과 음악 감상에 있었던 후처리 논란을 알고 계신 분이라면, 영화나 음악이라고 해서 반드시 제작된 원본 그대로만 감상해야 할 의무까지는 없다고 반박할 수도 있겠습니다. 게임에서도 제작사에서 제공하는 옵션을 넘어 ReShade 등의 프로그램으로 추가적인 효과를 즐기는 사례도 이야기해볼 수 있겠습니다. 결국 무엇을 선택했느냐 그 자체보다는, 각 선택이 무슨 의미를 가지는지 알고서 자신에게 적합한 것을 선택했느냐가 더 중요한 문제라고 할 수 있습니다. 경영, 외교 등 진중한 곳에서는 informed decision이냐 아니냐는 표현으로 말하기도 합니다. 그래서 나온 말이 “취향입니다, 존중해 주시죠.”입니다.


 


퀘이사존


    자신이 보간된 영상을 선호한다는 것을 알았다고 해도, 여전히 넘어야 할 산들은 있습니다. 그중에서도 영상 자체에서 가장 큰 문제는 보간 결함입니다. 아무래도 원본 영상에서 보여주지 않는 장면들을 추측으로 만들어서 추가하다 보니 원래 의도가 아닌 이상한 결과가 섞여 나오는 문제가 생깁니다.




퀘이사존

▲  장면 출처: 닐 블롬캠프 감독의 영화 “엘리시움” (2013)


    이 장면은 2013년 작 영화 “엘리시움” 초반부로, 주인공인 맥스(맷 데이먼 분)가 출근하기 위해 집을 나서는 장면입니다. 어떠한 격렬한 액션도, 장면 전환도 없이 그저 주인공이 길을 걸어가는 장면임에도 불구하고 모션 보간의 역효과를 적나라하게 드러내서 인상 깊었던 장면입니다. 정지된 화면 갈무리(스크린 캡처) 상으로는 눈치채기 어려울 수도 있습니다만, 딱히 영상의 시각적 결함(visual artifact)에 민감하지 않은 분도 그저 보간된 영상을 감상하는 것만으로도 뭐가 문제인지 쉽게 느낄 수 있을 정도입니다. 카메라 워크로 인해 화면상에선 주인공의 머리가 많이 흔들리긴 합니다만, 그걸 생각하더라도 상당히 튀는 결과(edge case)입니다.

    여기서 보이는 것과 같은 보간 결함을 후광 결함(Halo artifact) 문제라고 합니다. 물체의 가장자리 근처에서 잘못 처리한 결과로 보이는 뭔가 잔상 같은 것 때문에 마치 물체 자체에 은은한 헤일로(Halo: 후광)를 추가한 것 같아 보인다는 겁니다. 이러한 보간 결함들은 디지털 이미지를 확대한 품질을 개선하기 위해 이미지 보간(Image Interpolation)을 시작하면서 처음 제기되었습니다. 그리고 모션 보간(Motion Interpolation) 역시 같은 문제를 피할 수 없습니다.



퀘이사존

▲  ResearchGate에서 찾을 수 있는 보간 결함의 예시들. 디지털 이미지를 4배 확대한 사례이며, 가장 오른쪽의 Edge Halo가 후광 문제입니다.

출처: ResearchGate(바로 가기)





 ▲  영상 출처: NVIDIA 공식 채널(바로 가기)


    비싼 AI 시스템으로 오랜 시간 연산을 통해 고품질의 결과물을 제시하는 NVIDIA Slow Motion도 완벽하진 못한 문제가 보간 결함입니다. 일례로 25초경 넘어지는 하키 선수의 왼손을 보면, 보간된 영상(오른쪽 SUPER SLOMO)에선 원본에는 없는 부자연스러운 변화가 한순간 보입니다.

    물론 이 모든 것을 감수할 수 있다면, SVP 4 Pro가 제공하는 실시간 보간은 분명 매력적인 선택입니다. 그럼 결론으로 넘어가기 전에, 영상 재생에 모션 보간이라는 작업을 추가한 점이 얼마나 시스템 자원을 더 사용하는지 알아보도록 합시다.




퀘이사존


추가적인 작업은 당연히 시스템 자원을 더 씁니다만, 보간을 선호한다면 충분히 납득 가능한 수준입니다.




 퀘이사존


    영상을 보간해서 재생하면 시스템 전력 소모가 늘어나는 등 추가적인 자원을 사용합니다. CPU나 GPU의 연산 성능을 사용해서 중간 프레임을 추측으로 만들어내고, 이를 포함해 더 많은 프레임을 보여주므로 너무나도 당연한 결과입니다. 다만 막연히 ‘늘어난다’고만 알고 있는 것과 이를 정확히 측정해보는 것은 다른 이야기입니다. 대체 어느 정도 자원을 더 쓰는지 알아보기 위해 몇 가지 경우를 나누어 측정해 보았습니다.
  • SVP 미적용: SVP를 적용하는 과정을 거치기 전의 팟플레이어로 그냥 재생하는 상황을 보여드리기 위한 설정입니다. 이를 위해 DXVA Copy-Back 설정을 해제하고 AviSynth Filter도 사용 안 함으로 바꾸고 측정하였습니다.
  • SVP 보간 없음: SVP를 적용하되 SVP 자체 설정에서 보간을 잠시 꺼놓은 결과입니다.
  • SVP CPU: SVP를 적용하되 보간 연산에 CPU를 사용합니다. GPU 가속 설정을 ‘하드웨어 가속 사용 안 함’으로 설정했습니다.
  • SVP GPU: SVP를 적용하고 기본적인 GPU 가속 설정을 사용합니다.
  • SVP OF: NVIDIA 튜링Turing 아키텍처에서, 정확히는 GTX 1650을 제외하고 GTX 1660 이상 제품들에서 사용 가능한 Optical Flow 기능을 사용한 결과입니다.
  • SVP OF HFR: 4K HDR 60프레임 영상을 2배인 120프레임으로 보간하여 재생했습니다. 매우 높은 사양을 요구하는 게 당연하므로 RTX 2080에서 Optical Flow를 사용할 때만 진행하였습니다.
  • 게임 비교: 영상 보간의 자원 소모를 게임과 비교하기 위한 항목입니다 “톰 클랜시의 레인보우 식스 시즈(Tom Clancy's Rainbow Six Siege)”를 FHD 해상도에서 울트라 설정으로 자체 벤치마크 기능을 진행하여 측정하였습니다. 이 역시 RTX 2080에서만 진행하였습니다.



퀘이사존


    RTX 2080에서의 보간 성능은 만족스럽습니다. 물론 SVP 4가 처음 나온 2015년 당시에 비하면 엄청나게 높은 사양의 그래픽카드이니 당연한 결과이기도 합니다만, 4K 영상을 60프레임으로 원활히 재생할 수 있을 뿐만 아니라 Optical Flow 사용 시에는 전력 소모 대비 효율도 우수한 편입니다. 특히 Optical Flow를 사용하면 4K HDR 60프레임 영상도 120프레임으로 거뜬히 보간할 수 있는데, 이래도 게임을 플레이하는 것보다는 적은 전력 소모를 보입니다. 영상 원본 자체의 정보량이 많은 덕분에 보간 결함도 훨씬 적고 눈에 잘 띄지 않습니다.

    그럼 각각의 측정 결과를 보도록 합시다.(측정 목적상 기본 설정 슬라이드 바를 가장 오른쪽으로 옮겨서 최고 설정 프리셋을 사용하였습니다.)




퀘이사존




퀘이사존


    기본적인 GPU 가속을 사용한 결과(SVP GPU)를 보면, TDP 215 W의 상급 그래픽카드인 RTX 2080을 이용하여 보간을 수행하는 만큼 미적용보다 150W 가까이 늘어나 220W에 가까운 평균 전력 소모를 보입니다. 다만 CPU만 사용한 결과에 비하면 25W가량 적은 전력이며, Optical Flow를 사용하면 145W 정도로 대폭 감소합니다. 4K HDR 60프레임 영상을 사용한 결과는 영상 자체의 정보량이 많은 만큼 260W에 육박하는 결과를 보입니다만, 게임에 비하면 확연히 적은 전력 소모입니다.

    특이하게 보간 없음은 따로 처리할 게 없어 보이는데도 전력 소모량이 보간을 하는 것에 버금갈 정도로 많이 나왔습니다. 어디까지나 영상 품질을 비교하기 위해 잠시 보간을 막는 설정인 만큼 별도의 최적화 작업을 하지 않은 것으로 추측할 수 있습니다.




퀘이사존

 

    CPU 사용률은 당연하게도 CPU를 사용한 설정에서 평균 49.4%로 가장 높습니다. 다만 게임의 64.2%보다는 낮은 사용률입니다. 반면 GPU 가속은 CPU 사용률을 절반 정도인 25.3%로 낮춰주며, Optical Flow는 인상적일 정도로 낮은 6.9%의 CPU 사용률을 보여줍니다. 4K HDR 60프레임 영상을 사용한 결과HFR도 20.6%로 그 막대한 작업량에 비하면 낮은 편입니다.




퀘이사존


    GPU 코어 사용률을 측정한 결과는…특이하게 CPU만 사용한 설정에서 평균 47.5%로 상당히 높게 나왔습니다. 몇 번 다시 측정하였지만, 오차 범위 이내에서 같은 결과를 얻었습니다. 아무래도 공식 설명에서부터 GPU 사용을 강력하게 권장(“using a GPU is highly recommended”)하는 만큼, CPU만 사용하는 방식의 최적화는 개발 우선순위에서 밀려나서 생긴 결과로 추측됩니다.

    Optical Flow 사용 시에는 37.8%로 기본적인 GPU 가속의 35.7%에 비해서는 다소 높은 편입니다만, CPU 사용률 및 전력 소모 감소에 비하면 극히 작은 차이입니다. 4K HDR 60프레임 영상을 사용한 결과HFR는 78.7%로 그 막대한 작업량을 생각하면 이해가 가는 수준이며, 게임의 92.2%보다는 낮은 편입니다.




 퀘이사존


    VRAM 사용량은 GPU 가속 사용 시 증가하는 편입니다만, 전반적으로 2GB 이하의 적은 사용량을 보입니다. 요즘 그래픽카드의 6GB를 넘는 VRAM 탑재량을 생각하면 신경 쓰지 않아도 무방한 수준입니다.




퀘이사존


    인텔 iGPU에서 보이는 성능은 만족스럽지는 못한 편입니다. 6세대면 충분할 듯한 공식 언급과는 달리 4K 영상은 어떻게 하더라도 SVP가 작동하는 이상 정상 재생 자체가 불가능하였으며, QHD 영상을 2배(48프레임)로 보간하는 설정에서도 고급 설정을 통해 철저한 최하위 옵션을 적용해야만 원활한 재생이 가능했습니다.




퀘이사존


    ‘새 프로필’을 만들어서 고급 옵션을 활성화하고, 사전 정의된 값을 ‘자동 프로필 #13’으로 바꾸면 가장 낮은 설정을 적용할 수 있습니다. 세부 설정을 하나하나 조절하는 것보단 낫지만, 여전히 꼭 필요한 상황이 아니라면 피하고 싶은 일입니다.

    물론 같은 인텔 11세대라도 데스크톱용 iGPU가 가진 최대 32EU의 3배에 달하는 최대 96 EU를 탑재한 타이거레이크(Tiger Lake) 계열의 노트북이나, 다른 건 몰라도 iGPU의 연산 성능만큼은 인텔 데스크톱 프로세서보단 높은 평가를 받아온 AMD사의 APU를 사용한다면 좀 더 나은 결과를 얻을 수도 있겠습니다. 일단은 Core-i7 11700과 같은 인텔의 중상급 이상 데스크톱 프로세서에서는 iGPU로 SVP 연산을 하는 것보단 차라리 CPU를 사용하는 편이 더 낫다고 보입니다.

따라서 아래에 보여드리는 결과는 RTX 2080의 결과와 다르게 QHD 영상을 2배(48프레임)로 보간하여 재생하였으니, RTX 2080의 측정 결과와 1:1로 비교할 수 없습니다. 이 때문에 CPU를 사용한 측정도 두 가지 설정으로 나누어 진행하였는데, 첫 번째(녹색)는 iGPU처럼 최하위 옵션을 사용한 결과이고, 두 번째(적색)는 기본 설정에서 슬라이드 바를 가장 오른쪽으로 옮긴 최상위 프리셋을 사용한 결과입니다.




퀘이사존


    전력 소모는 iGPU답게 평균 82.6W로 매우 적은 편입니다. 다만 동일 옵션 기준으론 CPU로도 그다지 차이가 없는 83.5W를 기록했기 때문에, 성능이 떨어져서 강제로 옵션을 낮춘 덕에 전력 소모가 줄어든 느낌에 가깝습니다.




퀘이사존


    CPU 사용률은 옵션 관계상 전반적으로 모두 낮게 나왔습니다. CPU 최상 프리셋만큼은 상대적으로 매우 높은 사용률을 보였습니다만, 홀로 높은 설정을 사용했다는 점을 생각하면 당연한 결과입니다.



 

퀘이사존


    GPU 사용률은 SVP를 아예 적용하지 않는 경우만 제외하면 전반적으로 다 높게 나온 편입니다.




퀘이사존

    오히려 iGPU는 영상 재생만 맡기고, 보간 연산은 그래픽카드에 맡기는 식으로 역할 나눠주었을 때 더 나은 결과를 볼 수 있었습니다. 특히 큰 차이가 나는 부분은 그래픽카드의 GPU 사용률 감소입니다. 사용하는 SVP 설정보다 그래픽카드의 연산 능력이 아슬아슬하게 부족할 경우 몇몇 장면에서만 일시적으로 끊기는 문제가 발생할 수 있는데, iGPU가 부담을 나눠주면 그런 문제를 해결할 수 있습니다.




퀘이사존


    iGPU가 활성화된 상태에서 팟플레이어의 DXVA Copy-Back을 가장 무난한 선택인 'D3D11: 자동 선택'으로 해두면 알아서 iGPU를 활용합니다. 설령 그렇지 않더라도 직접 선택해주면 됩니다.




퀘이사존


    재생정보(단축키: Tab)의 Video Codec 정보에서 사용 중인 재생 장치를 확인할 수 있습니다.




퀘이사존


    인텔 Core-i5 11600과 RTX 3070을 이용하여 테스트한 결과, iGPU 사용은 그래픽카드의 평균 GPU 사용률을 12.4% 낮춰줍니다. 최고 사용률은 16% 낮아졌습니다.




퀘이사존


    시스템 전체 전력 소모는 2.5W 증가하여 평균 255.2W가 됩니다. 원래 전력 소모가 252.7W이니 1% 이하의 증가이고 성능상의 이득을 생각하면 매우 작은 대가입니다.




퀘이사존




퀘이사존

    Optical Flow를 사용할 수 있는 최소 사양인 GTX 1660과 그렇지 못한 1650을 간단히 비교해 보았습니다. GTX 1660이 Optical Flow 덕분에 그래픽카드 자체의 체급 차이를 뒤집고 평균 76.4W 적은 전력 소모를 보입니다. 맨 처음 결과 그래프에서 보여드린 RTX 2080에서의 전력 측정 결과도 기본 GPU 가속 시 219.9W, Optical Flow 사용 시 145.3W로 4W 차이 이내로 유사한 결과라는 점을 생각하면, SVP 사용 시 그래픽카드 체급은 중요하지 않은 것으로 보입니다. 성능이 부족해서 끊기지 않는 한은 말이죠.




퀘이사존

 

영상 보간을 선호한다면, SVP가 제시하는 다양한 기능은 매력적입니다.


■ 실시간 보간의 한계는 여전합니다
    게임과 달리 영상 보간은 이미 완성된 원본을 추측으로 바꾸는 데에 그 근본적인 한계가 있습니다. 영화감독이 의도한 영상미를 그대로 즐기고 싶어 하는 분들도 있고, 보간을 선호하더라도 결함(Artifact)을 못 견뎌 할 수도 있습니다. 특히 결함 문제는 줄일 수 있더라도 없앨 수는 없는 문제입니다. 자연과학에서 ‘맥스웰의 악마’의 의미를 알고 계신 분들은 아시겠지만, 원본에 없는 정보를 완벽하게 추측해낸다는 개념 자체가 영구기관과 같은 의미입니다. 결국 그럴듯하게 만들 수는 있어도 오류를 피할 수는 없습니다.


 


퀘이사존

▲ 없는 정보를 추측하다 생기는 오류는 DLSS도 공유하고 있는 문제입니다. 이는 DLSS 관련 칼럼들에서 보여드린 바 있습니다.


■ 다소의 전력 소모 증가가 있습니다
    영상 재생 외에 추가적인 작업을 만들었으니 당연한 일입니다. 다만 보간을 선호하는 분이라면 감당할 수 있는 수준으로 보이며, Optical Flow를 활용할 수 있다면 비교적 적은 전력 소모만으로 보간된 영상을 감상할 수 있습니다.

■ 모션 보간을 선호하는 분이라면, SVP 4 Pro는 매력적인 제안입니다
    보간된 영상을 즐겨 보시는 분이라면 SVP 4 Pro는 부담되지 않는 가격으로 편리하게 사용할 수 있는 설류션입니다. 팟플레이어, MPC-HC, BE 등 알려진 동영상 재생기에서 비교적 편리한 설정 조절만으로 실시간 보간을 사용할 수 있습니다. 라이선스 관리도 편리하고, 자체 설정도 조금만 알면 손쉽게 사용할 수 있습니다.

■ 이미 SVP 4 Pro에 만족한다면, Optical Flow는 매력적입니다
    GTX 1660 이상 지포스 그래픽카드에서 SVP 4 Pro를 설치할 경우 Optical Flow 사용이 기본적으로 활성화됩니다. 약간의 GPU 사용 증가를 대가로 CPU 사용률과 전력 소모를 대폭 줄일 수 있습니다. 보간 결함 측면에선 일장일단이 있는 편이고, 구체적으로 ‘뭐가 좋아졌다’고 말할 정도의 개선은 없습니다만, 보간 결함이 눈에 띄는 장면들 위주로 비교해본 바로는 Optical Flow를 사용한 쪽이 조금 더 자연스러워 보였습니다.

■ 번외: RIFE AI가 다가오고 있습니다
    테스트 중 뜬 SVP 업데이트 공지에서 눈에 띄는 문구가 하나 있습니다. “added support for RIFE AI interpolation”
알파고 이후 AI는 친숙해진 개념이며, 기대를 품게 만드는 단어이기도 합니다. 모션 보간에서도 그럴까요?


 


퀘이사존
▲ 6월 8일 업데이트부터 RIFE AI 보간을 사용할 수 있습니다. RIFE AI는 코넬 대학교에서 발표한 논문에서 제안하는 알고리듬에 기반하고 있습니다.

 



 




▲ 별거 아닌 영상으로 보일 수 있지만, 원본이 영상이 아니라 단 두 장의 이미지라는 사실을 알면 놀라운 결과입니다.


    SVP의 RIFE AI 지원은 이제 막 추가된 관계로 2배 보간만 가능하며, 그 외의 설정도 매우 제한적입니다. 성능 요구도 매우 높아서 RTX 2080에서 QHD 영상을 보간하는데 SVP 인덱스가 0.5 전후를 왔다 갔다 할 정도로 버거운 모습을 보였습니다. 이 정도면 RTX 3090을 써도 간당간당할 가능성이 높습니다. 오히려 실제로 테스트해본 결과는 구현상 한계인지 GPU 사용률만 낮아지고 같은 수준의 인덱스가 나왔습니다.


 


퀘이사존

▲ SVP 인덱스는 SVP 자체적으로 보여주는 보간 성능 보고입니다. 원칙적으로 1.00으로 유지되어야만 원활한 보간 재생을 보장할 수 있습니다.


    대신 SVP가 약점을 보이는 장면들을 테스트해보니 기본 GPU 가속과 Optical Flow 사용의 장점만을 합친 것보다도 훨씬 결함이 적은 영상을 보여줬습니다. 다른 장면들, 특히 영상 자체에 자막이 입혀져 있는 영상들에서는 더 이상한 결함을 보여주기도 하지만, 전체적으로는 매우 기대되는 결과입니다. 찾아보니 Waifu2x-Extension-GUI나 Flowframes라는 프로그램을 이용해 영상을 변환할 수 있음을 확인하였습니다. 어쩌면 나중에는 이들 프로그램을 이용한 영상 변환을 소개할지도 모르겠군요.





퀘이사존의 저작물은 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스에 따라 이용할 수 있습니다.​

댓글: 57

신고하기

신고대상


신고사유

투표 참여자 보기