시공간의 제약을 극복하는 가상현실에서 완전한 몰입감을 경험하게 해주는 VR 헤드셋은 게임 및 교육 등의 콘텐츠뿐만 아니라 물리적인 거리나 시간에 구애받지 않는 이유로 새로운 커뮤니케이션 수단으로도 이용되고 있다. 하지만 가상현실에서는 사용자의 완벽한 실체를 재현하기 어려우므로 커뮤니케이션에 한계가 있다. 이는 혼합현실에서 일부 완화되지만, 일반적으로 헤드셋이 사용자의 눈을 모두 가리기 때문에 의사소통에서 가장 중요한 표정, 시선 등의 요소가 반영되지 못한다.

이에 구글 리서치와 데이드림 랩, 유튜브 스페이스가 협업하여 좀 더 사실적이고 현실적으로 전달되는 사용자 표현을 위한 방법(research.googleblog.com/2017/02/headset-removal-for-virtual-and-mixed.html)을 고안했다. 3D 컴퓨터 비전과 기계 학습, 그래픽 기술을 결합하여 헤드셋을 제거한 것이다.

먼저, 사용자가 마커를 따라 시선을 움직이면 카메라가 이를 캡처하여 3D로 구현하는 동적 얼굴 캡처(Dynamic face model capture) 과정을 거쳐 만들어진 그래픽을 좀 더 정교하게 바로잡고, 정렬(Calibration and Alignment)한다. 이를 혼합현실 환경에 합성하고, 렌더링(Compositing and Rendering)하게 되는데, 사람의 얼굴 모양은 작은 불완전성조차 부자연스럽고 산만한 느낌을 줄 수 있으므로 이를 완화하기 위해 헤드셋을 완전히 없애버리는 것이 아니라 반투명 고글처럼 처리했다.

이 기술을 이용한 결과를 확장(Results and Extensions)하여 한 아티스트의 틸트브러시 사용 장면을 연출했다. 기존의 불투명한 헤드셋의 착용 장면보다 훨씬 자연스럽고 풍부하게 표현된다.

• 어떻게 보면 사용자 본인에게는 도움이 안 될 수 있는 기능이지만 가상현실이나 혼합현실에서 상호작용 경험에는 큰 변화가 생긴다. 표정이나 시선과 같은 비언어적인 표현을 이용하여 의사소통하고, 사회적인 상호작용을 향상되어 더욱 현실감 있는 커뮤니케이션 환경을 구현할 수 있다.

• 게임과 같은 엔터테인먼트 분야는 물론, 비디오 콘퍼런스와 같은 평범하고 실용적인 분야에서도 유용하게 활용될 수 있다.

Headset Removal, Google Researcher& Daydream Labs