Google混合實境新技術，讓VR頭盔下的表情重見天日

Tata

https://www.bnext.com.tw/article ... -headsets-invisible
Google混合實境新技術，讓VR頭盔下的表情重見天日
by  張庭瑜 2017.02.22

Google開發出一項新技術，可讓原本被VR頭盔擋住的臉部表情，在混合實境影像中重現，讓VR體驗影片變得更逼真。
虛擬實境（VR）帶來沉浸式體驗，但如果你看過其他人使用VR裝置，就會知道少了VR場景，他們在真實世界中的行為有多詭異。過去，我們已經可以在綠幕場景，拍攝出結合VR場景和真實世界行為的混合實境（MR）影片，但要讓觀眾更能貼近體驗者感覺的關鍵之一——臉部表情，卻被VR裝置遮住一大塊。

有鑑於此，Google開發出一項新技術，可讓原本被頭盔擋住的臉部表情（包含眼球視線、眨眼等）在混合實境影像中重現，讓VR體驗影片變得更逼真。（文末有影片）



一分鐘內建好臉部3D模型、眼球視線資料庫

這項研究來自Google Research部門、Daydream Labs和YouTube Spaces團隊。過去，VR頭盔擋住用戶表情和眼睛注視的方向，降低MR影片的逼真感。

Google結合臉部擷取程式、眼球追蹤和電腦視覺技術，設計出這項稱做「摘掉頭盔」的技術，可以將人臉合成在影片中，重現原本被VR頭盔擋住的表情。



根據部落格說明，這項技術利用彩色和深度照相機，在一分鐘內即可建立用戶的3D臉部模型，並建立眼球視線資料庫，讓不同的臉部圖像可對應到相對的眼睛視線和眨眼。



接著，他們將VR頭盔改造成可追蹤眼球，在結合「摘掉頭盔」技術、透過VR頭盔蒐集來的眼球追蹤數據、以及可和頭盔同步的外部攝影機，便能將最初設定的臉部模型合成和真實世界的行為合成，讓影片更為逼真。

避免「恐怖谷」，不完全拿掉頭盔、而是模擬潛水面鏡效果

不過，這項模擬人類表情的技術，由於過於擬人，就算和真人僅有微妙差異，也會讓人覺得很不自然，這即是恐怖谷理論。因此，為了避免恐怖谷現象，Google選擇模擬淺水面鏡的效果，不完全移除VR頭盔、而是用半透明的效果呈現頭盔，減少觀眾對表情不自然的地方的注意。

Google在部落格指出，希望這項技術可提升VR在各種應用中的溝通和社交互動能力，如VR視訊會議、多人玩家VR遊戲，以及和好友和家人共同在VR世界中探險等。未來，他們將在特定YouTube Space開放這項技術，讓各地創作者使用、提升他們的VR體驗影片。



資料來源：Google、TechCrunch、UploadVR


這個技術好神奇啊!!!   在錄製VR體驗影片時  
可以看到戴著頭盔者的臉了