More

    잘찍은 인물사진에 생긴 그림자 어찌할까?···AI가 감쪽같이 해결

    - Advertisement -

    구글·매사추세츠공대(MIT)·버클리대 컴퓨터 과학자 팀의 AI는 이처럼 진한 그림자가 드리운 인물 사진 가운데 진한 그림자만 자동적으로 지워준다. 사진=유튜브

    공동 연구팀의 AI는 이 사진에서 보듯 얼굴을 가린 물체의 진한 그림자를 자연스레 지워준다. 사진=유튜브

    당신은 사진을 찍었다가 진한 그림자가 사진속 얼굴에 남아 속상한 적이 없는가? 배경 때문에 꼭 그 자리에서 찍어야 하는데 얼굴에 주변 물체의 그림자가 생긴 경우가 있다면 이 인공지능(AI) 연구 팀의 기술에 관심이 끌릴 것이다.

    페타픽셀은 24일(현지시각) 구글·매사추세츠공대(MIT)·버클리대 컴퓨터 과학자 팀이 자연적인 그림자는 그대로 두고 인물사진 속의 진한 그림자만 감쪽같이 제거한 후 자연스레 보정해 주는 AI 기반의 ‘그림자 제거’ 툴을 만들었다고 전했다.

    결과가 인상적이다.

    ◆두개의 신경망 AI 사용···진한 그림자 지우고, 자연스런 그림자 입히고

    기술 자체는 하나가 아닌 두 개의 신경망에 의존한다.

    그 하나는 태양빛이 들어오는 것을 막기 위해 눈을 가린 손이나 모자 같은 물체에 의해 생긴 원치 않는 외부 그림자를 제거하는 데 사용된다. 다른 하나는 원치 않는 그림자가 제거되면 자연스러워진 얼굴 그림자를 부드럽게 하며. ‘합성 채우기 빛’을 추가해 조명 비율을 향상시켜 준다.

    연구팀은 두 개의 신경망을 이용해 (대부분) 현실적으로 외부 그림자를 제거해 자연스럽게 만들고 거기에 컴퓨터로 그림자를 추가했다. 물론 일부 결과는 여전히 약간 인공적인 것처럼 보일 수 있고, 야외에서 촬영된 자연적인 이미지로 제시될 때엔 모든 원치 않는 그림자들이 다해결되는 것은 아니다.

    논문 저자들은 “우리가 제안한 AI모델에 제약이 없는 것은 아니다”라면서 “외부 그림자에 많은 미세한 구조들(훈련에서 잘 표현되지 않은)이 포함돼 있을 때, 우리의 산출물은 그것들의 가시적인 잔차(잔차 경험적 관찰로 얻은 값과 모델로 추정된 값의 차)를 유지할 수도 있다”고 설명한다.

    원치않는 인물 사진속 그림자들의 사례. 사진왼쪽은 진한 얼굴 그림자, 오른쪽 위는 모자 그림자, 사진 오른쪽 뺨은 지나치게 강한 빛이 비친다. 사진=유튜브

    구글·매사추세츠공대(MIT)·버클리대 컴퓨터 과학자 팀의 AI 2개의 AI를 사용한다. 하나의 AI는 일단 진한 외부그림자를 지우고, 다른 AI가 여기에 자연광 등의 톤을 입힌다. 사진=유튜브

    그러나 충분한 훈련 데이터가 주어지면 이것과 함께 다른 한계도 극복할 수 있다.

    연구원들은 현재의 한계에도 불구하고, 그들의 성취에 대해 꽤 자랑스러워 한다. 그러나 충분한 훈련 데이터가 주어지면 간단한 원클릭 편집으로 그 한계를 극복할 수 있다. 마치 어도비 제품군의 구글 포토와 같은 앱에서 당신의 사진을 지나치게 가짜처럼 보이게 하지 않고도 진한 그림자를 설득력 있게 제거할 수 있는 것처럼.

    이 기술을 기술한 논문은 원래 지난 5월 시그래프2020에서 발표됐지만, 지난 주말 유튜브 채널인 ‘2분 논문(Two Minute Papers)’이 이를 입수해 소개하면서 더 많은 관심을 끌기 시작했다.

    아래 동영상은 각각 이 기법을 사용해 생성된 수많은 샘플 영상과 기법을 설명하고 있다.

    - Advertisement -

    Recent Articles

    Related Stories

    Enable Notifications    OK No thanks