더 좋은 화질로··· ‘업스케일링’ 기술은 무엇일까?

- Advertisement -

한때 데스크톱 대신 노트북을 쓰던 시절이 있었다. 디스플레이 해상도가 FHD(1920×1080)에 불과했지만, 화면에 띄우고 싶은 건 인터넷, 포토샵, 메신저, 탐색기 등 많아도 너무 많았다.

다행히 노트북에 탑재된 내장그래픽 덕분에 이 문제를 해결할 수 있었다. 가상 초고해상도(VSR)라는 기능이 있는데, 창 하나하나의 크기를 줄여 더 많은 창을 화면에 띄워 볼 수 있게 해준다. 덕분에 디스플레이 해상도가 낮아도 고해상도 모니터처럼 창을 여러 개 띄울 수 있었다.

그렇게 고해상도 기능을 경험한 뒤, 해상도를 조절하는 기술에 관심이 깊어졌다. 특히 평소 자주 접했던 사진이나 이미지와 관련된 기술을 다양하게 찾아보는 계기가 됐다.

◆ 업스케일링(업컨버전)이란?

에디터가 사용해 본 기술 중에는 카메라의 센서를 1픽셀씩 이동시켜 해상도를 4배 높여 촬영하는 ‘센서 시프트 고해상도 촬영’, 저화질 이미지를 고해상도로 변환하는 ‘이미지 업스케일링’이 있었다. 가전제품 매장을 지나가다가 저해상도 동영상을 8K로 업스케일링해 보여주는 TV를 봤을 땐 이 기술을 어떻게 구현했을까 고민해보며 한참 구경했다.

위 사례에는 공통적으로 ‘업스케일링(Upscaling)’이라는 기술이 사용된다. 업스케일링은 이미지를 구성하는 각 픽셀 사이를 넓혀, 사이마다 새로운 픽셀을 끼워 넣어 더 높은 해상도의 이미지를 만드는 보간 기술이다. 업컨버전(Upconversion)이라고도 부른다.

삼성 8K AI 업스케일링 (출처 : 삼성전자)

업스케일링 방식은 새로 끼워 넣을 픽셀에 어떤 색을 입힐지 정하는 알고리즘에 따라 다양하다. 일반적으로는 근처 픽셀의 색 데이터를 참조해 평균값을 취하는 경우가 많다. 빨간색과 노란색 픽셀 사이에 주황색 픽셀이 들어가는 식이다. 참조 대상은 바로 옆 픽셀이 될 수도 있고, 범위를 넓혀 주변 4~16개 픽셀을 복합적으로 참조할 수도 있다. 더 많은 픽셀을 참조할수록 품질이 향상될 확률이 높다.

최근에는 인공지능(AI)를 통해 빈 공간에 어떤 색을 채우면 자연스러울지 예측하는 알고리즘이 각광받고 있다. 게다가 변환한 이미지를 다듬어 픽셀이 부드럽게 연결되도록 처리하는 후보정 기술까지 적용하는 경우도 있다. 이렇게 후처리 과정까지 거치면 기존 방식보다 한층 완성도 높은 고해상도 이미지를 얻기 쉽다.

◆ 업스케일링이 사용되는 분야는?

업스케일링 기술은 사진과 영상, 게임, TV 등에서 어렵지 않게 찾아볼 수 있다.

최근 주목받은 곳은 싸이월드다. 지난 6월 싸이월드제트는 옛날 싸이월드에 회원들이 업로드했던 저화질 사진과 동영상 총 172억여 개를 업스케일링하는 서비스를 구축하겠다고 밝혔다. 이를 위해 싸이월드제트는 딥러닝을 기반으로 이미지와 영상을 4K 수준으로 변환하는 기술, 동영상 화질을 개선하는 기술을 보유한 회사들과 계약을 체결했다.

싸이월드가 인기를 끌었던 2000년대 초반, 핸드폰에 탑재된 카메라의 해상도는 지금보다 훨씬 낮았다. 높아도 130~200만 화소 정도였고, 낮은 건 30만 화소도 있었다. 30만 화소 카메라로 찍은 사진의 해상도는 640×480에 불과하다. 이렇게 해상도가 낮고 화질이 떨어지는 사진을 4K 수준으로 끌어올리겠다는 것이 싸이월드제트의 계획이다.

해당 내용을 보도한 방송에서는 파이썬 기반 프로그램으로 저화질 사진을 고화질로 복원하는 모습이 포착됐다. (출처 : KBS1)

waifu2x-caffe 프로그램

우리가 손쉽게 찾아 쓸 수 있는 프로그램 중에도 수준 높은 업스케일링 기술을 찾아볼 수 있다. 대표적으로 ‘waifu2x’가 있다. 이는 일러스트나 사진, 영상을 원하는 배율대로 확대해 주는 프로그램이다. 해상도를 늘릴 뿐만 아니라 픽셀이 자연스럽게 이어지도록 후처리와 노이즈 제거 작업도 거치기 때문에 품질 좋은 고해상도 이미지를 얻을 수 있다.

FHD 원본(왼쪽)을 8K(오른쪽)로 업스케일링한 모의 이미지 (출처 : 삼성전자 뉴스룸)

영상에 업스케일링을 적용한 사례로는 삼성 8K TV를 들 수 있다. 삼성전자는 2018년에 이미 가상 8K TV를 출시했다. FHD(1920×1080) 이하 해상도의 영상을 8K(7680×4320) 해상도로 업스케일링하는 기능을 내장하고 있다. 단순히 해상도만 늘리지 않고, AI 기술을 통해 원근감을 연출할 수 있다. 시청자에게 가까이 있는 사물은 더 선명하게 표현하고, 멀리 있는 사물은 흐릿하게 표현하는 식이다. 또한 텍스트 외곽선을 선명하게 보정하는 기술이 적용돼 글자가 포함된 영상이나 자막의 가독성이 더욱 향상됐다.

NVIDIA

게임에서도 업스케일링 기술이 각광받고 있다. 그래픽카드로 유명한 엔비디아(NVIDIA)와 AMD 라데온(Radeon) 브랜드는 각각 DLSS(Deep Learning Super Sampling)와 FSR(FidelityFX Super Resolution)이라고 불리는 고해상도 업스케일링 기술을 지원한다.

사진과 영상을 업스케일링하는 이유는 저화질 콘텐츠를 고해상도로 감상할 수 있게 하기 위한 경우가 많다. 반면 게임에서는 그래픽카드의 연산 효율을 증대시키기 위해 일부러 해상도를 떨어뜨린다. 처음부터 끝까지 고해상도 데이터를 처리하는 것보다, 저해상도 데이터를 처리하고 마지막에 고해상도로 업스케일링하는 게 더 높은 성능을 보인다는 이유다.

게임 데이터를 저해상도로 처리한 뒤 고해상도로 업스케일링하면 전체 처리 속도가 빨라진다. AMD에 따르면 FSR 기술을 적용할 경우 게임 성능이 평균 2.4배 향상된다. (출처 : AMD)

단, 이 경우 업스케일링 기술을 사용하지 않은 버전보다 화질이 약간 떨어진다. 하지만 업스케일링 모드에 따라 화질을 향상시키는 후처리 작업이 더해지므로 육안으로 구별하기 어려운 경우도 있다. 게다가 저해상도 모드로 데이터를 처리함으로써 향상되는 성능 폭이 체감하기 쉬울 정도로 크기 때문에 사용하지 않을 이유가 없다.

엔비디아와 AMD의 뒤를 이어 외장 그래픽카드 시장에 뛰어든 인텔도 비슷한 기술을 공개했다. 지난 19일 공개된 XeSS(Xe Super Sampling)는 리소스를 적게 점유하면서 높은 이미지 품질을 낼 수 있는 업스케일링 기술이다.

XeSS 비교 시연 이미지 (출처 : 인텔)

전반적인 작동 원리는 엔비디아의 DLSS 기술과 유사하다. 그러나 인텔이 공개한 데모 시연 영상을 보면 단순히 해상도만 끌어올린 게 아니라는 것을 알 수 있다. 예시를 보면 1080p 해상도에서 식별할 수 없을 정도로 흐릿했던 글자가 XeSS 기술이 적용된 뒤 확실히 읽을 수 있을 정도로 선명해졌다.

아직 인텔 그래픽카드가 시중에 출시되지 않아 XeSS 기술을 자세히 경험해보기는 어렵다. 하지만 인텔이 XeSS와 비슷한 DP4A 기술을 엔비디아와 AMD에 제공할 계획이라고 하니 인텔 그래픽카드를 구매하지 않아도 최신 업스케일링 기술을 경험해볼 수 있을 전망이다.

사진을 확대하려고 픽셀만 부풀리던 시절에서 벗어나, 처음부터 고화질·고해상도였던 것처럼 자연스러운 퀄리티를 보여주게 됐다. 덕분에 과거에 찍었던 저화질 사진을 고해상도 모니터에서도 깔끔하게 감상할 수 있게 됐다. 항상 높은 해상도만 추구하던 고사양 게임은 상식을 뒤집어 일부러 해상도를 낮췄다 올림으로써 처리 성능을 향상시켰다.

이처럼 딥러닝이 적용된 이미지 기술은 다양한 분야에 긍정적인 영향을 미쳤다. 기술 발전의 이상적인 면모라고 볼 수 있다. 앞으로도 더 신기하고 독창적인 기술이 개발돼 업스케일링만큼 신선한 충격을 선사할 수 있게 되길 기대해 본다.

테크플러스 에디터 이병찬

tech-plus@naver.com

- Advertisement -

Related Stories