2019년 06월 07일 트렌드디비
중국 저장 대학교(Zhejiang University)와 넷이지스 푸시 AI 랩(NetEase’s Fuxi AI Lab)의 연구원들이 5월 28일, 오디오 투 페이스라는 기계학습 시스템을 개발하고, 논문 수집 웹사이트인 아카이브(Arxiv)에 논문(arxiv.org/pdf/1905.11142.pdf)을 게재했다. 음성만으로 컴퓨터가 생성한 캐릭터의 입술과 입을 움직이게 함으로써 디지털 아바타에 생기를 불어 넣는다. 얼굴의 표면은 기하학적이기 때문에 생생하고 일관된 표정과 완벽하게 자연스러운 안면 운동을 만들어낼 때 어려움이 존재했다. 그러나 말하는 패턴에 따라서 달라지는 동작을 인식하는 시스템과 거의 실시간으로 애니메이션을 생성하는 시스템을 활용하여 다른 인풋 없이 음성만 있으면 실시간으로 얼굴 애니메이션을 생성해낸다. 비록 눈을 깜빡이는 것과 같은 고차원적인 표현까지는 무리가 있었으나 실제로 아바타가 말을 하는 것 같은 입모양을 연출했다. 이를 통해 일일이 수작업하는 애니메이션 작업을 간소화할 수 있을 것이다. 특히 가상현실과 같은 온라인 콘텐츠가 강화되는 미래에는 개인을 표현할 다양한 수단이 필요한데, 이 기술을 이용하면 음성만으로 캐릭터를 바꿔가며 자신의 모습을 꾸밀 수도 있겠다.
AUDIO2FACE,
Guanzhong Tian, Yi Yuan and Yong Liu(2019/05)
관련 연구
