기술/기능
2019년 06월 07일 트렌드디비

중국 저장 대학교(Zhejiang University)와 넷이지스 푸시 AI 랩(NetEase’s Fuxi AI Lab)의 연구원들이 5월 28일, 오디오 투 페이스라는 기계학습 시스템을 개발하고, 논문 수집 웹사이트인 아카이브(Arxiv)에 논문(arxiv.org/pdf/1905.11142.pdf)을 게재했다. 음성만으로 컴퓨터가 생성한 캐릭터의 입술과 입을 움직이게 함으로써 디지털 아바타에 생기를 불어 넣는다. 얼굴의 표면은 기하학적이기 때문에 생생하고 일관된 표정과 완벽하게 자연스러운 안면 운동을 만들어낼 때 어려움이 존재했다. 그러나 말하는 패턴에 따라서 달라지는 동작을 인식하는 시스템과 거의 실시간으로 애니메이션을 생성하는 시스템을 활용하여 다른 인풋 없이 음성만 있으면 실시간으로 얼굴 애니메이션을 생성해낸다. 비록 눈을 깜빡이는 것과 같은 고차원적인 표현까지는 무리가 있었으나 실제로 아바타가 말을 하는 것 같은 입모양을 연출했다. 이를 통해 일일이 수작업하는 애니메이션 작업을 간소화할 수 있을 것이다. 특히 가상현실과 같은 온라인 콘텐츠가 강화되는 미래에는 개인을 표현할 다양한 수단이 필요한데, 이 기술을 이용하면 음성만으로 캐릭터를 바꿔가며 자신의 모습을 꾸밀 수도 있겠다. 


594d67b9-0525-4903-a660-da63160b78af.png


neural_network.png

AUDIO2FACE, Guanzhong Tian, Yi Yuan and Yong Liu(2019/05)

삭제하시겠습니까?
취소
취소

기술/기능

음성으로 애니메이션을 생성하는 인공지능

중국 저장 대학교(Zhejiang University)와 넷이지스 푸시 AI 랩(NetEase’s F...

기술/기능

이미지 속의 캐릭터를 움직이게 하는 기술

미국의 워싱턴대학교(University of Washington)와 소셜 네트워크 서비스인 ...

형태/모양

어린이를 위한 인터랙티브 프로젝터

홍콩의 스타트업, 에그어에서 어린이를 위해 특별히 고안된 디자인의 인터랙...

형태/모양

마블 캐릭터에서 영감을 받은 모터사이클

미국의 만화책 출판사, 마블 코믹스의 만화책에 등장하는 슈퍼 히어로 캐릭...

그래픽/색상

디자인을 접목한 음식 데이터 플랫폼

미국 뉴욕의 스타트업, 세이지 프로젝트(sageproject.com)는 음식 정보를 더...

소재/재료

패브릭 소재로 만들어진 전기 자동차

2014년에 설립된 일본의 전기 자동차 제조사, 리모노(rimono.jp)가 지난 5월...

형태/모양

마음대로 글자를 만드는 레고

시력에 이상이 있는 아이들은 글을 익히기 위해 점자가 펀칭된 문서와 점자...

소재/재료

슈퍼마리오 팬을 위한 명품 시계

스위스의 명품 시계 브랜드인 로메인 제롬(romainjerome.ch)이 슈퍼마리오(S...

형태/모양

애플 워치가 괴물 인형이 되는 충전 스탠드

프랑스 기반의 제품 디자이너인 비비안 뮐러(vivien-muller.fr/#watchme)는 ...

  • 1
  • 2