기술/기능
2019년 06월 07일 트렌드디비

중국 저장 대학교(Zhejiang University)와 넷이지스 푸시 AI 랩(NetEase’s Fuxi AI Lab)의 연구원들이 5월 28일, 오디오 투 페이스라는 기계학습 시스템을 개발하고, 논문 수집 웹사이트인 아카이브(Arxiv)에 논문(arxiv.org/pdf/1905.11142.pdf)을 게재했다. 음성만으로 컴퓨터가 생성한 캐릭터의 입술과 입을 움직이게 함으로써 디지털 아바타에 생기를 불어 넣는다. 얼굴의 표면은 기하학적이기 때문에 생생하고 일관된 표정과 완벽하게 자연스러운 안면 운동을 만들어낼 때 어려움이 존재했다. 그러나 말하는 패턴에 따라서 달라지는 동작을 인식하는 시스템과 거의 실시간으로 애니메이션을 생성하는 시스템을 활용하여 다른 인풋 없이 음성만 있으면 실시간으로 얼굴 애니메이션을 생성해낸다. 비록 눈을 깜빡이는 것과 같은 고차원적인 표현까지는 무리가 있었으나 실제로 아바타가 말을 하는 것 같은 입모양을 연출했다. 이를 통해 일일이 수작업하는 애니메이션 작업을 간소화할 수 있을 것이다. 특히 가상현실과 같은 온라인 콘텐츠가 강화되는 미래에는 개인을 표현할 다양한 수단이 필요한데, 이 기술을 이용하면 음성만으로 캐릭터를 바꿔가며 자신의 모습을 꾸밀 수도 있겠다. 


594d67b9-0525-4903-a660-da63160b78af.png


neural_network.png

AUDIO2FACE, Guanzhong Tian, Yi Yuan and Yong Liu(2019/05)

삭제하시겠습니까?
취소
취소

기술/기능

음성으로 애니메이션을 생성하는 인공지능

중국 저장 대학교(Zhejiang University)와 넷이지스 푸시 AI 랩(NetEase’s F...

기술/기능

이미지 속의 캐릭터를 움직이게 하는 기술

미국의 워싱턴대학교(University of Washington)와 소셜 네트워크 서비스인 ...

그래픽/색상

스마트폰 제어로 다양한 효과를 제공하는 조명

차세대 콘텐츠 제작 환경에서 사용될 스마트 조명 솔루션을 개발하는 디지털...

기술/기능

모션 캡쳐를 위한 스마트 슈트

코펜하겐과 샌프란시스코 기반의 스타트업 로코코는 인디 애니메이션, 게임 ...

공간/실내장식

인터랙티브 경험을 제공하는 LED 월 패널

호주의 멀티미디어 디자인 스튜디오인 에네스(eness.com)는 LED 조명, 3D 프...

형태/모양

귀엽고 친근한 디자인의 개인 비서 로봇

삼성전자가 미국 샌프란시스코에서 4월 27일, 28일 양일간 개최하는 2016 삼...

그래픽/색상

LED가 발광하는 여성용 클러치 백

낮은 전력을 사용하면서도, 비교적 저렴하고, 다양한 형태로 디자인이 가능...

기술/기능

모션 캡처의 대중화를 위한 모션 캡처 수트

덴마크 코펜하겐의 스타트업, 로코코는 저렴한 비용으로 손쉽게 모션 캡처가...

그래픽/색상

자연의 형상과 움직임을 사용한 데이터 시각화

2015 엑스포 밀란에서 일본의 팀랩(team-lab.net)은 'Harmonious Diversity'...

  • 1
  • 2