상대에게 내 3D 얼굴 표정만 전달한다···이 넥밴드 실용성은?

- Advertisement -

▲LG전자의 넥밴드형 블루투스 헤드셋. (사진=LG전자)

▲코넬대 사이파이랩이 고안한 넥밴드형 넥페이스를 착용하고 얼굴 표정을 변화시켰을 때 모습. 상대편은 착용자 얼굴(중앙) 대신 AI로 생성된 3D 얼굴(오른쪽)을 보게 된다. 왼쪽은 iOS 트루뎁스 카메라와 AR 키트로 생성된 얼굴. (사진=코넬대)

어디서 본 것 같은데? 그렇다. LG전자가 출시해 선풍적 인기를 끌었던 목에 거는 넥밴드형 블루투스 헤드셋 ‘톤플러스’를 닮았다.

하지만 중요한 차이점이 있다. 이 새로운 넥밴드형 웨어러블은 ‘오디오’는 물론 양방향 ‘비주얼’ 소통을 위한 ‘얼굴 기반 차세대 통신 도구’라는 점이다. 즉, 목에다 걸고 켜면 얼굴 표정을 바탕으로 한 양방향 비주얼 의사소통을 할 수 있게 해 주는 기기다.

중요한 것은 착용자 자신의 얼굴이 아닌 인공지능(AI)이 만든 3D얼굴 버전만을 상대편에게 보여 준다는 점이다. 보는 사람으로선 어떨지 모르겠지만 당사자로선 상대방과 컴퓨터 화상 통화를 할 때와 달리 주변 모습에 신경 쓸 필요가 없게 된다.

최근 미국 코넬대 사이파이랩 연구팀의 ‘넥페이스(NeckFace)’ 밴드가 보여주는 특징이다.

◆넥페이스, 턱과 얼굴 일부로 만들어진 얼굴 이미지로 상대편과 소통

▲코넬대 사이파이랩이 최근 고안해 발표한 펜던트형 ‘넥페이스’의 구성. 적외선(IR) 카메라, 근적외선 LED, IR 협대역-통과 필터로 구성된다. (사진=코넬대 사이파이 랩)

그런데 넥밴드(또는 목걸이형 펜던트) 방식이라서 그야말로 턱과 얼굴의 일부만 촬영할 수밖에 없는데 어떻게 상대방에게 내 얼굴 표정을(비록 3D 버전이지만) 보여주게 되는 걸까.

비밀은 넥밴드 카메라로 촬영한 턱과 얼굴 일부 이미지만으로 착용자의 얼굴 변화를 도출해 3D로 생성해 주는 인공지능(AI)에 있다.

카메라로 촬영되는 사용자의 턱 변화와 얼굴 표정 변화와의 상관관계를 사전에 심층학습 시켜 놓은 결과가 반영돼 상대방에게 보이는 것이다.

연구진은 ‘네크네트(Neck Net)’라는 AI로 턱밑 변화에 따른 얼굴 모습 변화를 학습시켜 이를 반영한 3D 얼굴 모습을 생성해 냈고, 이를 대화 상대방이 볼 수 있도록 했다.

넥페이스는 이런 기능을 하는 최초의 넥밴드, 또는 목걸이형 웨어러블 감지 기기 중 하나로 기록될 전망이다.

◆턱 변화만으로 얼굴 표정 하루 종일 추적하는 이 기기의 활용성 기대

▲코넬대 사이파이랩이 고안한 펜던트형 넥페이스를 착용하고 얼굴 표정을 변화시켰을 때의 모습. 상대편은 착용자 얼굴(중앙) 대신 AI로 생성된 3D 얼굴(오른쪽)을 보게 된다. 왼쪽은 iOS 트루뎁스 카메라와 AR 키트로 생성한 얼굴. (사진=코넬대)

넥페이스는 쳉 장 코넬대 앤 S 보어스 전산정보과학대학 정보과학부 조교수 팀이 개발했다.

연구팀은 이 기기를 사용할 때 착용자 주변의 물체를 보여줄 필요가 없다는 점에서 ‘프라이버시’를 강화한 기기라고 주장한다.

이 팀은 이 넥밴드를 양방향 소통 외 다른 분야에도 적용할 수 있을 것으로 보고 있다.

무엇보다도 이를 이용한 착용자의 얼굴 움직임과 그에 따른 잠재적 감정을 추적해 육체적 심리적 건강을 체크할 수 있을 것으로 기대하고 있다.

이뿐이 아니다. 이들은 이 기기가 다른 많은 용도로 사용될 것으로 보고 있다.

예를 들면 전면 카메라가 선택 사항이 아닐 때의 가상 회의, 가상 현실 시나리오에서의 얼굴 표정 감지, 소리 없는 음성 인식 등 많은 응용 분야를 기대하고 있다. (메타버스에서 응용될 방법이 있을 수도 있겠다.)

귐브레티에르 연구원은 넥페이스가 화상회의를 바꿀 수도 있다고 말했다. 그는 “화상회의 때 넥페이스 사용자는 카메라 시야에 머물기 위해 조심할 필요가 없다. 대신 넥페이스는 우리가 교실을 돌아다닐 때에도 완벽한 얼굴 샷을 재현할 수 있고, 심지어 외부에서 온 친구와 산책하기 위해 밖으로 걸어나갈 수도 있다”고 설명했다.

◆넥페이스, 턱만 찍고 얼굴 표정 만들기 위한 연구

▲넥페이스로 이미지를 생성하기 위한 첫 번째 단계는 턱 아랫부분 이미지를 촬영하는 것이다. 이를 바탕으로 한 AI가 턱의 움직임 변수를 반영한 얼굴 표정을 생성해 제공하게 된다. (사진=코넬대 사이파이랩)

넥페이스의 효율성을 테스트하기 위해 쳉 장 교수와 연구원들은 13명의 참가자를 대상으로 사용자 연구를 실시했다.

연구팀은 우선 아이폰X의 트루뎁스 3D 카메라를 이용해 기준 얼굴 표정 움직임 생성 데이터를 수집했다. 그런 다음 이를 넥페이스가 턱 사진을 기반으로 학습해 생성 제공한 3D얼굴 데이터와 비교했다.

그 결과 연구팀은 둘 사이에서 거의 동일한 정확도로 얼굴 움직임을 감지했다고 판단했다.

다만 목뒤에서 쇄골 바로 아래로 두르는 트윈(2개) 카메라가 달린 넥밴드 방식이 적외선(IR) 카메라 장치가 달린 목걸이 방식보다 좀 더 정확하게 움직임을 감지했다. 연구진은 넥밴드에 달린 두 대의 카메라가 중앙에 장착된 목걸이 카메라보다 양쪽에서 더 많은 정보를 찍을 수 있기 때문이라고 분석했다.

◆최적화될 경우 얼굴 표정 변화 추적해 자신의 신체, 감정변화 알게 해준다

▲넥페이스의 핵심은 이처럼 턱 아랫부분을 촬영한 이미지를 바탕으로 얼굴 표정 변화를 생성해 전달하는 데 있다. 이 표정 생성 중간 과정에 AI 기계학습 기반 컴퓨팅 기술이 숨어 있다. (사진=코넬대 사이파이랩)

쳉 장 교수는 “당신의 감정이 하루 종일 어떻게 달라지는지 실제로 알 수 있을까?”라고 물으며 “이 기술을 통해 하루 내내 신체적, 정신적 상태를 데이터베이스화할 수 있으며, 이는 곧 자신의 행동을 추적할 수 있음을 의미한다. 또한 의사는 이 정보를 사용해 의료적 결정에 도움을 받을 수 있다. 이는 정신건강 분야에서 특히 유용할 수 있다”고 말했다.

이들의 성과는 지난 6월 말 ‘인터랙티브, 모바일, 웨어러블, 유비쿼터스 기술에 관한 ACM’ 행사 논문집에 ‘넥페이스: 목에 장착된 웨어러블 상의 얼굴 표정 연속 추적’ 제하의 논문으로 발표됐다.

- Advertisement -

Related Stories