퀘이사존
성능비교
퀘이사플레이
컴퓨텍스 이벤트
이벤트
필드테스트
특가/예판
행사판매
퀘플래플
퀘플이벤트
리뷰
벤치마크
기획기사
게임기사
비디오
리포트
컴퓨텍스 2024
하드웨어 성능비교 •
시네벤치(CPU)
3DMark(GPU)
하드웨어
게임
모바일
파트너뉴스
사용기/필테
팁/노하우
PC조립/견적
스팀/PC게임
플스/엑박/스위치
모바일/스마트폰
노트북/태블릿PC
가전제품/TV
CPU/메인보드/램
그래픽카드
오버클록/언더볼팅
케이스
커스텀수랭/튜닝
공랭/수랭쿨러
SSD/HDD/USB
파워서플라이
키보드/마우스
하이파이 •
게이밍오디오
모니터
네트워크/인터넷
OS/소프트웨어
기타/주변기기
자유게시판
애니/피규어
유머게시판
자동차
반려동물
음식/여행
영화/TV
데스크셋업
IT/하드웨어
박물관
나눔게시판
핫딜
타세요
장터
라이브스트리밍
:
퀘이사존 컴퓨텍스 2024 특집 기사 바로가기 + Point
안녕하세요. QM크크리입니다.
컴퓨터에서 이미지를 다루다 보면 알게 모르게 이미지 크기 조절 기술을 사용하게 됩니다. 스마트폰으로 찍은 고해상도 사진을 모니터상에 한 번에 보려 할 때, 유튜브에서 보고 있는 영상이 표시되는 크기를 바꿀 때, 고해상도 모니터를 원활하게 사용하기 위해 윈도우나 웹브라우저상에서 확대 설정을 적용한 후 웹 페이지 상의 이미지를 볼 때 등은 우리가 일일이 개입하지 않아도 화면에 보여주는 프로그램 측에서 알아서 이미지 크기를 조절하여 보여주는 사례입니다. 게임을 플레이할 때 우리가 보는 화면도 자동으로 이미지 크기 조절이 적용되는 사례입니다. 개발자가 준비한 텍스쳐는 2D 이미지인 데 반해, 화면상에 표시할 땐 3D 입체상에서 움직이는 물체 표면의 일부이다 보니 보여주는 각도와 원근감부터 매 순간 달라지기 때문입니다. 플레이어가 보는 시점에서 3D 물체가 얼마나 떨어져 있고 어떤 각도에 자리 잡고 있느냐에 따라 표시해야 할 텍스처의 크기가 달라지는 건 물론이고, 정사각형 텍스쳐를 사다리꼴로 보여줘야 하는 등의 형태 변화가 심합니다.
그 외에도 자신이 공유하고자 하는 사진이나 그림이 인터넷 게시판에 올렸더니 크기가 줄어든 상태로 올라가서 내용을 제대로 확인하기 어렵게 된 경험을 겪어본 분들도 있을 것입니다. 게시판의 서버 부하상 허용하는 용량이나 크기보다 올린 내용이 큰 탓에 자동 크기 조절이 개입한 결과입니다. 이를 피하고자 이미지를 나누거나, 최적화 프로그램을 통해 용량을 줄이거나, 외부 호스팅 사이트를 이용하기도 합니다. 이전에 이를 소개하는 팁 게시글을 올려드린 바 있습니다.
반대로 준비한 이미지의 크기가 용도에 비해 작아서 크기를 키워야 할 때도 있습니다. 그런데 이미지 크기를 키우면 지나치게 거칠 거나 흐릿해 보이는 결과가 나오기 쉽습니다. 특히 예전일수록 이미지 크기 조절 방식이나 이를 수행할 컴퓨터 사양 모두 제약이 많아 마음에 드는 이미지 확대 결과를 얻기가 힘들었습니다. 어떻게든 더 나은 결과를 얻어보고자 여러 프로그램을 구해 다양한 설정을 시도해 보기도 하였죠. 그에 반해 요즘에는 비교적 고품질의 확대 결과를 낼 수 있는 크기 조절 방식의 접근성이 많이 높아진 편입니다. 그래서 이미지를 확대하는 업스케일링Upscaling 기술에 대한 간단한 이해를 바탕으로 몇 가지 쓸만한 이미지 확대 프로그램을 소개해 보고자 합니다. 다양한 프로그램을 모두 소개하기에는 제약이 있기에 특정 분야라도 비교적 인지도가 있거나 개인이 무료로 손쉽게 사용할 수 있는 방식 위주로 선정하여 소개해 보고자 합니다.
사실 디지털 화면에서 큰 이미지가 필요하면 그때그때 필요한 크기에 정확히 맞춰서 준비함(소위 1:1 픽셀 매칭)이 이상적이고, 다양한 크기에 맞출 편의성이 필요하다면 가능한 가장 큰 크기를 먼저 준비한 후 축소해서 대응하는 편이 더 좋습니다. 원론적으로는 크기가 작은 이미지를 확대하는 업스케일링 쪽보다 큰 이미지를 축소하는 다운스케일링 쪽이 정확한 결과를 얻기에 유리하기 때문이죠.
그러나 이러한 원론을 곧이곧대로 지키기에는 복잡하고 온갖 어려운 조건에 부닥치는 경우가 많습니다. 대표적인 사례로 아주 오래된 고전 영화나 애니메이션의 DVD, 블루레이 판을 들 수 있습니다. 이런 작품 상당수는 제작 당시의 기술적 한계로 원본 소스 자체가 DVD급에도 못 미치는 사례가 많습니다. 소스부터 다시 제작하는 리메이크가 아니라 원작 자체, 또는 원작 소스를 그대로 활용한 리마스터 정도를 최신 기기에서 감상하고 싶다면 이미지 확대 기술이 제일 나은 선택입니다. 간혹 DVD판을 잘 확대하면 같은 작품의 블루레이 판보다 실제로 나은 화질이 나온다는 주장이 제기되는 것도 이런 작품들 이야기입니다. 블루레이 판이 나온 지도 오래된 고전이라면 세월이 흐른 만큼 이미지 확대 기술도 발전하였고, 개인이 무료로 사용할 수 있는 프로그램의 기술이 해당 작품의 블루레이 판을 제작할 때 사용한 기술보다 더 나은 사례도 나올 수 있기 때문입니다.
그 외에도 여러 가지 이유로 고해상도 원본을 따로 구할 수 없거나, 가능하더라도 비용 문제가 있어 이미지 확대를 사용하기도 합니다. NVIDIA가 RTX 20시리즈부터 내세운 DLSS(딥 러닝 슈퍼 샘플링, Deep Learning Super Sampling)나 그 이후 대두된 AMD FSR(FidelityFX 슈퍼 해상도, FidelityFX Super Resolution), Intel XeSS(Xe Super Sampling) 모두 넓은 의미에서 이미지 확대 기술 활용에 속합니다. 게임 성능 향상을 위해 렌더링 해상도(게임 엔진이 실제 그래픽을 그리는 해상도)를 낮추지만, 그렇게 만들어진 화면을 출력 해상도에 맞춰 확대하고 보정하여 화질 저하는 최소한도로 억제한 결과를 추구합니다.
디지털에서 이미지를 본격적으로 다루기 시작한 이래 이미지 확대 기술의 필요성도 따라왔고, 제한된 시간과 컴퓨터 성능 등의 자원 한계 내에서 어떻게 하면 더 나은 결과를 얻을 수 있을지에 대한 연구도 꾸준히 진행되고 있습니다. 여기서는 가장 간단하고 고전적인 기술부터 차근차근 짚어보되, 일반 사용자가 관심 가질만한 한도 내에서 핵심 개념만 아주 간단히 설명해 드리겠습니다.
디지털 이미지를 확대하는 가장 간단한 논리는 같은 점을 여러 개 그리는 것입니다. 디지털 이미지 자체가 바둑판 같은 격자 구조에서 각각의 점(격자)에 어떤 색상을 보여줄지를 나타내는 방식이니, 점 하나 대신에 4개를 그리면 가로세로 2배 확대, 9개를 그리면 가로세로 3배 확대, 16개(4배), 25개(5배)...식으로 확대하면 아주 간단하고 고민할 거리도 없습니다. 대신 정수배로만 확대할 수 있습니다. 이 논리를 다른 확대 배율에도 쓸 수 있게 일반화한 알고리듬이 최단입점Nearest neighbor입니다. 확대 결과에서 각각의 점을 그릴 때 원본에서 가장 가까운 점 하나를 찾아서 그대로 복사하는 방식입니다.
최단입점은 아주 간단하고 빠르게 처리할 수 있지만, 사실상 화질에 대한 어떠한 고려도 없이 크기만을 키운 셈이기에 실용성이 거의 없습니다. 더 나은 기술로 대체된 후에는 기초적인 원리 설명에나 사용되었으나, 고전 게임의 복고풍retro style을 찾는 수요층이 생기면서 실용적인 사용처를 찾게 됩니다. 복고풍의 도트 그래픽을 최신의 고해상도 모니터에서 보면 어중간한 확대 기술이 적용되어 제작자가 의도한 화면을 볼 수 없기 때문입니다. 이럴 때는 단순하게 원본 화질 그대로 크기만 키우는 방식이 오히려 최선의 화질을 보여주게 됩니다. 비교적 근래에 그래픽 제어판에서 정수 스케일링 지원을 추가한 이유도 바로 이 도트 그래픽 수요층을 위한 지원입니다.
▲ 예시 출처: Marat Tanalin(바로 가기)
※ 뱀발: 사실 이 문제는 자세히 따지고 들어가면 더 복잡한 얘기가 있습니다. 이런 방식의 게임 그래픽이 최신이던 당시에는 TV와 모니터 모두 브라운관CRT 방식의 디스플레이만 있었고, 당시 게임 제작자들은 CRT가 화면을 보여주는 방식의 특성상 일어나는 왜곡을 생각해서 도트를 찍었습니다. 이제 와서 원본 도트를 그대로 본다고 해서 당시의 화면을 볼 수 없다는 뜻이고, 이를 해결하기 위해 최신의 고해상도 모니터에서 CRT의 화면을 재현하고자 하는 연구도 있는 모양입니다. 아직 개인이 쓸만한 결과물이 나오기 전인 모양이고, 칼럼 주제에서도 벗어나는 관계로 자세한 설명은 생략하겠습니다.
선형 보간Linear interpolation의 기본 논리는 아주 간단합니다. 두 점 (x0, y0), (x1, y1)에 대한 정보가 있고, 그사이 어딘가에 대한 정보를 추측해야 한다면, 우선 두 점 사이를 연결하는 직선을 이은 후 그 직선상의 위치를 이용합니다. 이를 디지털 이미지에 적용하면 결과적으로 가장 가까운 두 점을 사용하되, 얼마나 멀리 떨어져 있느냐를 고려한 가중 평균을 사용하는 셈입니다. 위 도해 가장 왼쪽의 그래프가 바로 이 선형 보간을 표현하고 있습니다. 가운데 그래프는 선형 보간 논리를 2차원 공간으로 확장한 쌍선형Bilinear interpolation이며, '이(중)선형'이라고도 합니다. 도해 오른쪽에 보이는 3차원 공간까지 확대 적용하면 삼선형Trilinear interpolation이 됩니다.
이는 빠르고 간단하면서도 나름 괜찮은 보간 결과를 보이며, 3D 게임에서도 가장 기본적인 이미지 보간 기술로 사용하고 있습니다. 지포스 제어판의 3D 설정 관리를 둘러보면 '텍스처 필터링 - 삼선형 최적화'를 기본 설정으로 켜놓았음을 볼 수 있습니다. 텍스처를 원본 크기와 다른 크기로 화면에 보여줘야 할 때, 삼선형 보간을 기본으로 간주하되, 쌍선형을 써도 화질 저하가 적다고 생각되는 조건에서는 쌍선형을 대신 사용하는 성능 최적화를 하겠다는 뜻입니다.
선형 보간보다 좀 더 정확한 결과를 위해 네 점을 잇는 3차 방정식cubic equation을 사용하면 입방(형) 보간이 됩니다. 이를 2차원 공간으로 확장한 쌍입방Bicubic interpolation은 이미지 확대에 널리 사용하는 유명 알고리듬입니다. 포토샵에서도 오래전부터 쌍입방을 지원해왔으며, 선명화 효과sharp filter 등과 같이 사용하는 '쌍입방 더 선명하게Bicubic Sharper', '쌍입방 더 매끄럽게Bicubic Smoother'들은 지금도 포토샵에서 널리 사용하는 이미지 크기 변경 기술입니다.
▲ 입방 보간 예시, 도해 출처: 영문 위키백과(바로 가기)
위 예시는 가운데 검은색 점의 높이를 찾기 위해 근처 네 점의 정보를 3차 방정식으로 분석하는 논리를 시각화한 것입니다.
※ 아래는 최단입점(Nearest neighbor), 선형(Linear, Bilinear), 입방형(Cubic, Bicubic) 보간의 원리를 1차원과 2차원상에서 비교한 도해입니다.
▲ 도해 출처: 영문 위키백과 Bicubic interpolation(바로 가기)
결과적으로, 가운데 검은색 점의 높이를 찾기 위해 근처 몇 개 점의 정보를 어떻게 분석하느냐의 차이가 됩니다.
여기서 입방형 보간의 논리를 좀 더 일반화해보자면, 몇 개의 점으로 정보를 줬을 때 그 점들을 잇는 그럴듯한 곡선을 만들어서 정보가 없는 중간 위치를 추정하는 방식이라 할 수 있습니다. 이를 위해 sinc 함수의 근사법approximation을 사용하는 란초스 보간법Lanczos interpolation은 이미지나 영상의 고품질 확대 결과를 얻는 알고리듬으로 널리 알려져 있습니다. Wccftech의 보도(바로 가기)에 따르면, AMD의 FSR도 Lanczos 보간법을 바탕으로 하되 성능과 링잉 문제를 피하려고 수정한 근사법을 사용한다고 합니다.
영문 위키백과의 예시는 검은색 점으로 정보를 줬을 때, 이들을 잇는 선을 추정하는 란초스 보간법의 결과를 몇 가지 보여줍니다. 빨간색과 녹색 점선은 각각 4와 11 지점에서만 보간법을 적용한 결과이며, 모든 지점의 보간을 합친 결과는 파란 실선으로 나타납니다. 각 예시가 아래위와 다른 점은 sinc 함수의 계산 범위를 제한하기 위한 윈도우 함수의 크기 차이이며, 위에서부터 각각 1, 2, 3입니다. 간혹 란초스 관련 설정에서 란초스 4 taps(Lanczos4)나 3 taps(Lanczos3) 같은 선택지를 제공하는 경우는 바로 이 윈도우 크기를 말하는 것입니다. 참고로, AMD FSR의 근사법은 란초스 2 taps 기반이라고 합니다.
영상 출력 방식Video Renderer의 일종인 madVR의 설정 화면에서 제공하는 간략 화질 평가에 따르면, 란초스의 윈도우 크기를 키울수록 결과물이 더 선명해지고 계단 현상Aliasing 방지 효과가 있으나, 출력값이 과도하게 변하는 링잉 결함ringing artifacts이 심하게 나타난다고 합니다. 그래서 madVR은 링잉 제거 필터anti-ringing filter 설정을 따로 제공하고 있습니다.
▲ 이미지에서의 링잉 결함 예시(오른쪽, 정상인 왼쪽과 비교)
출처: 영문 위키백과 링잉 결함(바로 가기)
그 외에도 Spline, B-Spline, S-Spline, Jinc, Bilateral, super-xbr 등 여러 알고리듬이 제안된 바 있습니다. 특히 S-Spline을 사진 확대용으로 사용하기 위해 각종 효과를 더하고 세세한 설정 조절을 지원하는 S-Spline Max, 현 포토줌 프로Photozoom Pro는 우수한 사진 확대 특화 프로그램으로 알려져 있기도 합니다.
▲ 클릭하면 커집니다(원본 크기로 보실 수 있습니다).
2009년경부터 폭발적으로 발전해온 딥 러닝(Deep Learning, 심층학습) 인공지능은 2016년 알파고와 이세돌 九단과의 바둑 대국으로 세간의 관심을 끌어모았고, 여러 분야에서 활발하게 연구, 개발, 활용되고 있습니다. 일례로 NVIDIA가 RTX 20시리즈부터 게임 성능 향상을 위해 내세운 DLSS(딥 러닝 슈퍼 샘플링, Deep Learning Super Sampling)는 이름부터 딥 러닝을 내세우고 있습니다.
▲ 도해 출처: NVIDIA(바로 가기)
학습 원본이 16K 초고해상도이기 때문에 렌더링 해상도가 낮아도 화질 저하가 적으며, 잘 작동할 때에는 사용하지 않은 것보다 더 우수한 화질을 보여주기도 합니다. 이전에 DLSS DLL 파일 교체를 다룬 칼럼에서 "컨트롤Control"의 철망 표현 등의 사례를 보여드린 바 있습니다.
NVIDIA가 DLSS 2.3 업데이트 등을 발표한 테크 업데이트 브리핑에서도 몇 가지 사례를 보여주고 있습니다.
▲ 예시 출처: waifu2x - Snowshell(바로 가기)
딥 러닝이 세간에 알려진 이후, 일반 개인도 고품질의 이미지 확대에 사용해 보고자 하는 수요도 조금씩 늘어나고 있습니다. 이를 일반 개인도 사용할 수 있게 하는 서비스나 프로그램도 여럿 나왔고, 상용화된 제품이나 그 인지도도 조금씩 늘어나는 추세입니다
무료 모션 보간 프로그램 칼럼에서도 말씀드렸다시피, Waifu2x는 컨볼루션 신경망 인공지능으로 애니메이션 캐릭터를 보간 결함 없이 확대해보자는 연구에서 출발하였습니다. 깃허브 페이지의 References에 따르면 코넬 대학에서 2014년에 발표한 SRCNN("Image Super-Resolution Using Deep Convolutional Networks")라는 연구에서 영감을 받아 학습시킨 신경망을 사용한다고 합니다. 이름의 Waifu는 애니메이션 용도라고 일부러 아내Wife를 일본식 발음에 가깝게 바꾼 철자를 쓴 것입니다.
깃허브 페이지에 공개한 예시(바로 가기)를 보면 픽셀(각 점)의 정보(를 수학적 공식으로 분석한 자료)에 기반하는 기존 알고리듬과 달리, 애니메이션 풍 일러스트 특성 자체를 학습한 인공신경망을 써서 그런지 상대적으로 고해상도 원본을 새로 그린듯한 모습에 가까워 보입니다. 원래 Waifu2x는 웹서비스로 제공합니다만, 소스 코드도 공개하기 때문에 이를 이용한 GUI 프론트엔드 프로그램들도 여럿 나온 바 있습니다.
Waifu2x가 공개한 소스를 이용하여 파생된 서비스나 프로그램에는 여러 종류가 있습니다. 자체 웹 서비스를 제공하는 waifu2x-multi(바로 가기), 리눅스나 macOS에서도 쓸 수 있는 waifu2x-ncnn-vulkan(바로 가기), 아이폰/아이패드에서도 쓸 수 있는 waifu2x-ios(바로 가기) 등이 있습니다. Waifu2x 자체는 고품질 확대에 초점을 맞추지만, 설정에 따라서는 원래 크기보다 작게 축소할 수 있는 경우도 있습니다. 모든 서비스와 프로그램을 소개하기엔 여러모로 제약이 있어, 여기서는 '윈도우에서 무료로 쓸만한 GUI 프로그램'을 기준으로 waifu2x-caffe, Snowshell, 그리고 Extension-GUI의 세 가지를 소개하고자 합니다.
※ Waifu2x 학습 모델 특성상 애니메이션 풍의 일러스트는 고해상도로 새로 그렸다고 해도 될 정도로 완벽한 결과를 보일 때가 많으나, 사진은 수채화처럼 변하는 등 엉뚱한 결과를 보일 수 있다고 합니다. 이에 사진이나 실사풍 게임 그래픽 화면 등을 확대할 때는 결과를 확인하고 사용 여부를 결정할 필요가 있어 보입니다.
waifu2x-caffe는 waifu2x의 변환 기능을 딥 러닝 프레임워크의 일종인 Caffe로 다시 구현하고, 일반 사용자가 편하게 쓸 수 있는 GUI와 같이 제공하고 있습니다. 깃허브 Releases 페이지의 Assets에서 waifu2x-caffe.zip를 내려받아, 반디집 등의 프로그램으로 적당한 위치에 압축을 풀어 사용할 수 있습니다.
명령어 기반 방식(CLI, Command-line interface)의 waifu2x-caffe-cui.exe와 GUI인 waifu2x-caffe.exe를 통해 실행할 수 있습니다. 여기서는 GUI 사용 기준으로 설명해 드리겠습니다.
대부분의 설정은 직관적이므로 일부 설명이 필요한 설정만 말씀드리겠습니다.
마찬가지로 윈도우에서 waifu2x를 편하게 쓰고 싶어하는 사용자를 위한 GUI를 제공하는 프로그램, waifu2x-Snowshell입니다. 깃허브의 Releases 페이지에서 waifu2x_snowshell_v2.3_with_vulkan(약 66 MB), waifu2x_snowshell_v2.3_with_caffe_and_vulkan(약 705 MB), 또는 Assets 아래의 waifu2x-snowshell_v2.3.zip(약 66 MB)를 내려받아 반디집 등의 압축 프로그램으로 적당한 폴더에 풀어놓고 waifu2x_snowshell.exe를 실행하여 사용할 수 있습니다. 지포스 그래픽카드 사용자는 용량이 크더라도 with_caffe_and_vulkan으로 받는 편이 좋습니다.
사용법 및 설정은 매우 직관적이므로 관심 가는 설정이 있으면 조절해보고 사용하시면 됩니다. 여기서는 설명이 필요한 개념 두 가지만 짚어보고자 합니다.
무료 모션 보간 프로그램 칼럼(바로 가기)에서도 소개해 드렸던 Waifu2x-Extension-GUI는 Waifu2x를 넘어 여러 변환 엔진과 영상의 모션 보간까지 지원하는 프로그램입니다. 여기서는 무료 이미지 확대에 중점을 맞춰서 주요 설정을 소개해 드리겠습니다.
Waifu2x-Extension-GUI의 GitHub 페이지 바로 가기
'Download Latest Stable Build (Windows x64)'(직링크 바로 가기)를 선택하면 현재 가장 최신 안정 버전을 받을 수 있습니다. 후원 기반의 부분 유료화로 개발하고 있습니다만, 프로그램 자체는 최신 베타 버전까지 무료로 공개하는 대신 일부 기능을 제한하는 방식입니다.
Download FULL Package의 링크 중 하나를 통해 Waifu2x-Extension-GUI-v3.86.74-Win64.7z를 내려받으면 됩니다.(그중 중국 사이트 링크에서 요구하는 비밀번호는 옆의 '提取码: '로 알려주고 있습니다.) 반디집 등의 압축 프로그램으로 적당한 폴더에 풀어둔 후 waifu2x-extension-gui 폴더에서 Waifu2x-Extension-GUI.exe나 Waifu2x-Extension-GUI-Launcher.exe를 실행하여 사용할 수 있습니다.
Waifu2x-Extension-GUI를 실행하면 가장 먼저 언어 선택 팝업이 뜨는데 English를 골라주고 들어가면, 호환성 테스트(Compatibility test) 관련 안내가 나오고 자동으로 진행합니다. 이 호환성 테스트는 전용 탭에서 언제든지 결과를 확인할 수 있으며, 화면 아래의 Start Compatibility test를 눌러 다시 검사할 수 있습니다. 주로 그래픽카드를 바꾸었거나, Waifu2x-Extension-GUI 자체의 프로그램 업데이트로 새로운 엔진을 추가했을 때 다시 검사해주면 좋습니다.
화면 맨 아래쪽은 프로그램 작동 상황에 대한 보고를 보여주는 Log 페이지로, 초기 설정에선 글자 크기가 작아 읽기 어려울 수 있는데 오른쪽에서 Font size를 적당히 키워주면 됩니다.
Waifu2x-Extension-GUI는 영상 보간 등 다른 기능과 관련 설정도 있으나, 칼럼 주제에서 벗어나기 때문에 여기서는 이미지 확대 위주로 최대한 간단하게 설명하겠습니다.
기본 사용법은 File List에 원하는 원본을 끌어다 놓고(왼쪽 아래 버튼을 사용해서 불러와도 됩니다), 오른쪽 중앙의 Output Folder에서 결과를 출력할 장소를 지정한 후 Start로 시작하면 됩니다.
Engine settings 페이지는 실제 확대 작업을 수행할 엔진 관련 설정입니다. Image가 일반적인 이미지를 확대할 때 사용할 엔진을 설정하는 곳이고, Animated Image는 GIF 같은 소위 '움짤', Video는 영상의 크기를 확대할 때의 설정입니다. 처음 사용할 때나 그래픽카드를 교체한 후에는 오른쪽의 붉은색 Optimize Settings를 한 번 눌러주면 좋습니다.
주요 엔진에 관해 설명해 드리겠습니다. 말씀드릴 주요 엔진 모두 애니메이션 풍과 실제 사진 모두에 사용할 수 있으나, Waifu2x는 위에서 말씀드린 것처럼 학습 모델 특성상 애니메이션 풍 일러스트에 유리한 편입니다. 사진 확대에 Waifu2x를 사용하면 수채화처럼 변하는 등 엉뚱한 결과를 보일 수 있다고 합니다. 나머지는 상대적으로 실제 사진에 유리한 편입니다.
그 아래에 보이는 메뉴는 각 엔진의 작동에 관한 설정입니다. 주요 설정에 관해 설명해 드리겠습니다.
더 아래의 Number of threads는 공통 설정이며, 여러 이미지를 변환할 때 사용할 스레드 수를 설정합니다. 큰 숫자로 설명하면 여러 이미지를 변환할 때 변환 속도를 올릴 수 있습니다. 대신 그만큼 메모리 등의 자원 요구도 늘어나며, 이로 인한 오류로 변환에 실패할 수도 있습니다.
Image settings 페이지는 이미지 관련 추가 기능 몇 가지를 설정하는 곳입니다. 위의 PSD와 GIMP 관련 설정은 포토샵 규격 이미지PSD도 이 프로그램이 처리할 수 있게 해주는 유료 기능입니다. APNG, GIF는 소위 움짤 규격으로, 해당 규격의 결과물을 저장할 때 구체적인 최적화 설정을 조절할 수 있습니다.
HEIF(HEIC)는 H.265(HEVC) 기술을 이미지 저장에 활용하는 최신 규격으로 애플, 캐논 등이 적극적으로 활용하고 있습니다. 역시 결과물을 해당 규격으로 저장할 때 사용할 설정이라, 무엇인지 모르거나 호환성 문제로 사용하지 않을 때에는 필요 없는 설정입니다. Quality mode는 Quality(기본 사용법 화면의 Image quality 설정을 사용), Efficient(프로그램이 알아서 효율적으로 설정), 무손실Lossless의 세 가지를 선택할 수 있습니다. Chroma는 이미지 저장에 사용할 크로마 서브 샘플링을 설정하는 것이라 해당 용어로 검색하여 참고하시기 바랍니다.
딥 러닝 인공지능을 이용한 이미지와 영상 처리 프로그램을 사업 모델로 가진 Topaz Labs의 이미지 확대 프로그램입니다. "디테일을 향상시켜 더 나은 사진 품질을 얻기 위해 딥 러닝을 사용합니다.(Use deep learning to get better photo quality by enhancing detail)" - Topaz Labs -
AMD FSR의 공개된 소스를 이용한 무료 사진 확대 프로그램을 소개한 탐스하드웨어의 기사 "AMD FSR을 사용하여 자신의 이미지를 업그레이드하세요(Use AMD FSR to Upscale Your Own Images)"(바로 가기)를 보면 Gigapixel AI와 쌍입방 알고리듬을 대조군으로 사용하고 있습니다.
$99.99에 구매하는 방식이며, 이메일 주소를 통해 무료 체험판을 신청할 수 있습니다. 포토샵의 플러그인으로도 사용할 수 있으며, 관련 내용은 Topaz Labs의 도움말(바로 가기) 을 참고 바랍니다. 여기서는 단독 실행 기준으로 설명해 드리겠습니다.
기본적인 사용 방법은 간단합니다. 사용할 원본 이미지를 파일이나 폴더 단위로 지정하고, 어떻게 확대할지 설정한 후 아래의 Save Image 버튼을 통해 변환 작업을 시작하면 됩니다. 파일 메뉴의 Sava as나 Ctrl + S 단축키를 사용해도 됩니다.
딥 러닝 학습 모델을 일반인이 이용할 수 있기 전에도 이미지 확대에 대한 수요와 연구는 꾸준히 있었습니다. 여기서는 그에 대한 프로그램 몇 가지를 대조군으로 선정하여 사용자고자 하기에 간단히 소개해 드리겠습니다.
그래픽 도구로서의 어도비 포토샵의 유명함은 굳이 설명할 필요도 없을 터입니다. 수십 년 전부터 개발되온 프로그램이지만, 이미지 크기 기능 자체에서 지원하는 설정은 비교적 전통적인 알고리듬인 최단입점, 쌍선형, 쌍입방만을 지원하였습니다. 근래에는 인공지능 기반의 세부 묘사 유지Preserve Details 기술도 사용할 수 있는데, 초기 버전은 확대에만 최적화되어 있지만 2.0 버전은 축소에도 대응한다고 합니다. 어도비사의 기술 미리 보기 페이지(바로 가기)에서도 '인공지능 지원 확장 기능'이라고 명시하고 있습니다.(다만, 인공지능은 딥 러닝보다 훨씬 넓은 개념이며, 어도비사의 관련 기능들이 구체적으로 어떤 인공지능 기법에 기반하고 있는지 명시하는 언급은 찾기 힘듭니다.) 기술 미리 보기 페이지에서는 피부 톤과 모발 텍스처, 텍스트, 로고, 음식(수프, 샐러드, 피자) 등 가장자리 세부 묘사에 대해 언급하고 있습니다.
▲ 영상 출처: 유튜브 Michael Woloszynowicz
그누 이미지 처리 프로그램 GIMP(GNU Image Manipulation Program)는 리눅스의 포토샵, 또는 포토샵의 무료 대안으로서 인지도를 가지고 있는 공개 소스 프로그램입니다. 이 역시 이미지 크기 처리를 위해 선형, 큐빅(입방), Lanczos 알고리듬을 지원하였는데, 근래에는 Lanczos를 제외하고 NoHalo와 LoHalo라는 선택지를 제공합니다. Stack Exchange에서의 질의응답(바로 가기)을 보면 몇 가지 복잡한 기법을 조합하여 고품질의 크기 조절을 지원하려는 시도로 보입니다. gimpusers.com에 게시된 기능 소개(바로 가기)에 따르면 LoHalo는 원본 크기의 절반 이하로 축소할 때, NoHalo는 그 외의 경우에 유용하며, 아직 공개하지 않은 LoBlur와 LoJaggy도 준비하고 있다고 합니다.
IrfanView는 무료 이미지 뷰어로 인지도 있는 프로그램이며, 이미지 크기 변경 알고리듬도 나름 다양하게 지원하는 편이라 크기 조절용으로 사용하기도 합니다. 다만 PNG의 투명 배경을 보존하지 않는 단점도 있습니다.
위에서 설명한 바와 같이, 포토줌 프로Photozoom Pro는 S-Spline이란 알고리듬을 사진 확대용으로 사용하기 위한 프로그램입니다. 과거에는 Shortcut S-Spline 2.2 같은 프로그램도 있었던 모양이나, 현재까지 유지 보수되고 있는 것은 상용 프로그램인 Photozoom Pro입니다. S-Spline 알고리듬에 각종 효과를 더하고 세세한 설정 조절을 지원하는 S-Spline Max 기술에 기반하며, 우수한 사진 확대 특화 프로그램으로 알려져 있기도 합니다.
칼럼 처음에 보여드린 도해도 규리의 대표 이모티콘을 150x150 크기에서 포토샵으로 2.2배 확대하여 330x330 크기로 만든 결과입니다. 왼쪽은 최단입점, 가운데는 세부 묘사 유지 2.0, 오른쪽은 쌍입방 방식을 사용하였죠. 외곽선 처리의 차이나 전체적인 선명도에 주목하면 차이를 쉽게 보실 수 있습니다.
본격적으로 준비한 아래 예시에서는 마찬가지로 규리의 대표 이모티콘을 사용하였지만 1600x1600으로 한 번에 약 10.67배 확대하였습니다.(해당 배율을 한 번에 확대할 수 없는 Gigapixel AI는 예외적으로 최대 설정인 6배 확대 후 다시 1600x1600으로 확대) 이 하나의 예시만으로 세상 다양한 이미지 확대 사례를 대변하기에는 한계가 있겠지만, 각 확대 방식이나 프로그램의 특성을 개괄적으로 비교하는 데에는 충분히 도움이 되리라 생각합니다. 주로 외곽선 처리나 규리의 이마 부분을 비교해보시면 차이를 쉽게 발견하실 것입니다.
※ 왼쪽과 오른쪽에 비교하고 싶은 방식을 선택하고 로딩이 끝나 이미지가 바뀔 때까지 기다린 후, 비교 슬라이드를 마우스로 끌어 옮기거나, 마우스 휠로 확대/축소를 해보면 자세하게 비교해볼 수 있습니다.
▲ 이미지 비교 서비스 제공: imgsli(바로 가기)
디지털에서 이미지를 본격적으로 다룬 이래 크기 확대를 고품질로 하기 위한 보간 기술도 연구되어 왔고, 시대와 용도에 따라 다양한 알고리듬이 나왔습니다. 현재는 각종 인공지능 학습 모델을 포함해 다양한 확대 방식을 쓸 수 있고, 서로 다른 특성과 장단점을 보입니다. 그런 만큼 사용할 용도에 따라 골라 쓰는 재미를 누려봄이 좋지 않을까 싶습니다.
Waifu2x가 처음 공개된 지도 만 5년 이상이 지나 그 학습모델도 정교해졌고, 개인 컴퓨터에서 실행해볼 수 있게 해주는 무료 프로그램도 여러 종류가 나왔습니다. GPU 가속이 가능한 사양이라면 개인 컴퓨터에서도 고품질의 일러스트 확대를 원활히 수행할 수 있게 되었죠. 일러스트의 크기가 사용할 용도에 비해 작다고 해도 문제없이 대처할 수 있게 되었고, 그만큼 일러스트 활용의 유연성도 높아진 셈입니다.
그 외에도 사진 확대에 더 유리한 SRMD, RealESRGAN 등의 인공지능도 무료 프로그램에서 손쉽게 사용할 수 있습니다. 용도에 맞게 잘 선택하면 과거에는 꿈도 꾸기 힘들 정도의 고품질 확대 결과를 얻을 수 있지요.
위에서 용도에 따라 골라 쓰는 재미가 있고, 잘 선택하면 좋은 결과를 얻을 수 있다고 말씀드렸습니다. 거꾸로 생각하면, 사용자가 그걸 신경 쓰지 않고 원본만 집어넣으면 프로그램이 알아서 최적의 방식을 골라주는 경지까지는 아직 갈 길이 멀다는 얘기도 됩니다. 특히 인공지능 방식은 적극적으로 보정을 하다 보니 잘 될 때는 고해상도 원본을 새로 그린 수준을 보여주기도 하지만, 반대로 멀쩡한 부분을 망쳐놓기도 합니다. 예시를 설명해 드릴 때 주목할 부분으로 규리의 이마 부분을 말씀드린 것도 이 때문입니다. 물론 여기서 소개한 프로그램 상당수는 개인이 무료로 사용할 수 있는 간편한 도구다 보니 원본의 특성을 분석하고 알아서 방법을 선택하는 식의 고등한 기능을 개발하기 어렵다는 점도 고려할 필요는 있겠죠.
현재 애니메이션 풍과 실제 사진이라는 대분류로는 쉽게 파악할 수 있지만, 그 이상 자세히 들어가면 여전히 시행착오를 거칠 필요가 있습니다. 그래픽카드 보조 전원의 구조를 설명하는 도해를 확대해야 한다면(실제 제 칼럼 작성 중에 있었던 일입니다), Waifu2x, RealESRGAN, Gigapixel AI 중 어느 쪽이 가장 좋은 결과를 보일까요? 해당 도해는 글자와 도형이 들어 있는 도해지만, 애니메이션 캐릭터 일러스트도, 사람이나 풍경 사진도 아닙니다. 다른 얘기로 특정 사진을 확대할 일이 생길 때 포토샵의 세부 묘사 유지 2.0, 포토줌 프로의 S-Spline Max, Gigapixel AI, RealESRGAN 중 어느 것이 최선의 선택일까요? 두 예시 모두 실제로 해보기 전에 정확히 예측하긴 어렵습니다. 골라 쓰는 재미는 있지만, 용도에 따라 최선을 고르기 위해서는 아직 시행착오가 필요합니다.
퀘이사존 저작물은 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스에 따라 이용할 수 있습니다.
이미지확대 그림확대 와이푸2x 인공지능사진확대 딥러닝사진확대 인공지능일러확대 딥러닝일러확대 무료일러확대 무료사진확대 란초스보간법
이건 거칠고 저건 흐릿하고..., 이미지 어떻게 확대하면 좋을까?
댓글: 82개
역사적인 그래픽 성능 향상? 발표 내용 한번 들여다 봅시다
AMD Ryzen 6000 모바일 테크 데이: 노트북용 ZEN3+ APU 출격
NIS, RSR은 또 뭐가 다르지? 그래픽카드 지원 기술들을 정리해봅시다
DLSS, FSR, DL...DSR? 게임 스케일링 기술 개념 정리 해보자!
이미지 확대도 AI의 시대죠. 아직 기존 알고리듬이 쓸모 있을 때도 있지만요.
아예 쓸모없을지? 여전히 시도해볼 가치는 있을지? 한번 비교해봅시다
로스트아크 DX11 지원! 굿바이 DXVK? 레알리???
QM들이 직접 선정한 어워드, 올 한 해는 어떤 일들이 있었을까?
QM이 뽑은 최고가 궁금하다! QM IT/하드웨어 어워드 2021
더 예전 방식은 어떠신가요? 작업 표시줄, 초시계 등도 있답니다
윈11 이거 모야 내 시작 메뉴 돌려줘요! 도움, StartAllBack
P-코어는 뭐고, E-코어는 뭐고, 성능은 어떻고, 어렵다 어려워!
인텔 코어 i9-12900K로 살펴보는 P-코어 & E-코어 집중 분석
나만의 프레임 표시기를 만들어 봅시다
'갬성' 프레임 표시기가 공짜? 오버레이 에디터를 알아보자!
찐싱크, 적응형 동기화, LFC, 호환(Compatible)? 기원부터 차근차근 개념을 잡으면 어렵지 않습니다
G-Sync, 프리싱크? 가변 주사율(VRR) 개념 총정리!
크로마키, 트랙 추가, PIP 가능! 이제 일상에서 부담 없이 사용할 수 있는 편집 도구로서 부족함이 없습니다
두루두루 편리한 영상 편집 도구, 곰믹스 맥스의 매력을 알아보자
관세청 & 서울본부세관 디지털무역범죄조사과에 물어봤습니다
1년 지난 해외 직구 전자제품, 진짜 팔아도 되나요?
i7-12700K로 알아본 결과는...CPU 파트가 좋아졌다는 점이 최대 장점입니다.
인텔 12세대 엘더레이크, 내장 그래픽은 얼마나 좋아졌을까?
BTW, GtG, MPRT, MBR..., 여기 영어 학원 아니죠? 아, 인풋랙은 또 뭐가 다르지?
내가 보는 화면이 실제 게임/영화 화면이 아니라니? 응답 시간 측정의 기원과 현재, 그리고 미래
내 컴퓨터에 지금 당장 설치해? 말아?
윈도우 11, 무엇이 달라졌고 무슨 의미가 있는가
플루이드 모션? Flowframes, Waifu2x-Extension-GUI도 있습니다.
날 위한 96프레임 영화? 무료 모션 보간 프로그램들을 살펴보자
퀘이사존-전 우주급 커뮤니티: 우주의 시작부터 끝까지
퀘이사존 로그인
아이디·비밀번호 찾기 회원가입
공식기사
리포트/취재
어항 케이스의 문제점 완벽 극복?!
이제 AMD의 시대인가?(진짜로)
신제품 보러 갔다가 따귀 맞은 썰 들려준다ㅋㅋ
국가권력급 비밀병기(2024년 최신판)
이 파워라면 가보로 물려줘도 인정 (2200W)
퀘이사존을 다양한 미디어에서 만나보세요
신고하기
투표 참여자 보기