기술/기능
2019년 06월 07일 트렌드디비

중국 저장 대학교(Zhejiang University)와 넷이지스 푸시 AI 랩(NetEase’s Fuxi AI Lab)의 연구원들이 5월 28일, 오디오 투 페이스라는 기계학습 시스템을 개발하고, 논문 수집 웹사이트인 아카이브(Arxiv)에 논문(arxiv.org/pdf/1905.11142.pdf)을 게재했다. 음성만으로 컴퓨터가 생성한 캐릭터의 입술과 입을 움직이게 함으로써 디지털 아바타에 생기를 불어 넣는다. 얼굴의 표면은 기하학적이기 때문에 생생하고 일관된 표정과 완벽하게 자연스러운 안면 운동을 만들어낼 때 어려움이 존재했다. 그러나 말하는 패턴에 따라서 달라지는 동작을 인식하는 시스템과 거의 실시간으로 애니메이션을 생성하는 시스템을 활용하여 다른 인풋 없이 음성만 있으면 실시간으로 얼굴 애니메이션을 생성해낸다. 비록 눈을 깜빡이는 것과 같은 고차원적인 표현까지는 무리가 있었으나 실제로 아바타가 말을 하는 것 같은 입모양을 연출했다. 이를 통해 일일이 수작업하는 애니메이션 작업을 간소화할 수 있을 것이다. 특히 가상현실과 같은 온라인 콘텐츠가 강화되는 미래에는 개인을 표현할 다양한 수단이 필요한데, 이 기술을 이용하면 음성만으로 캐릭터를 바꿔가며 자신의 모습을 꾸밀 수도 있겠다. 


594d67b9-0525-4903-a660-da63160b78af.png


neural_network.png

AUDIO2FACE, Guanzhong Tian, Yi Yuan and Yong Liu(2019/05)

삭제하시겠습니까?
취소
취소

형태/모양

접착제 없이 볼트로 조립한 가구

네덜란드 디자이너가 10월 12일에는 접착제를 사용하지 않고 볼트로 조립한 ...

형태/모양

엎드려서 바다 속을 들여다 보는 서핑보드

아랍에미리트의 산업 디자이너의 타이달 웨이브 서핑보드는 엑스포 2020 세...

기술/기능

인공 가습과 천연 가습을 결합한 가습기

한국의 산업 디자이너들이 11월 14일 얀코 디자인에 가습한 물로 식물을 키...

공간/실내장식

우주에서 건설하는 로봇

미국의 캘리포니아공과대학교 연구진이 11. 5일, 우주에서 건설하는 로봇 시...

공간/실내장식

반투명한 건물 외벽

건축 디자인 회사인 닷캣이 2025년에 러시아의 올레그 타바코프 극장을 리모...

기술/기능

변형 가능하며 전기가 연결되는 블록

미국 매사추세츠 공과대학교의 연구진들이 8월 27일, 어떤 형태로 만들더라...

기술/기능

내 컴퓨터에 구축하는 지식 서버

크로스토크 설루션이 3월에 공개한 무료 오픈 소스인 프로젝트 노마드는 인...

공간/실내장식

무선 충전하는 주방 서랍

세미 맞춤형 주방 수납장 제조사인 파부우드와 무선 전력 기술 회사인 프리...

포장/패키지

지퍼로 재밀봉해서 먹는 시리얼

아침에 시리얼을 먹는 사람이 많은데, 한 번 봉지를 뜯으면 남은 음식을 보...