A head-mounted display (HMD), which is common in virtual reality (VR) systems, normally hides the user’s face. This feature prohibits to realize a face-to-face communication, in which two or more users share the same virtual space, or show a participant’s face on a surrogate-robot’s face when the user remotely connects to the robot through an HMD for tele-immersion. Considering that face-to-face communication is one of the fundamental requirements of real-time communications, and is widely realized and used by many nonVR telecommunication systems, an HMD’s face hiding feature is considered to be a serious problem and limits the possibility of VR. To address this issue, we propose the notion of “Face-through HMD” and present a face-capturing HMD configuration called “Behind-the-Mask” with infrared (IR) cut filters and side cameras that can be attached to existing HMDs. As an IR cut filter only reflects infrared light and transmits visible light, it is transparent to the user’s eye but reflects the user’s face with infrared lights. By merging a prescanned 3D face model of the user with the face image obtained from our HMD, the 3D face model of the user with eyes and mouth movement can be reconstructed. We consider that our proposed HMD can be used in many VR applications.

ヴァーチャルリアリティ(VR) で標準的に使われている頭部搭載ディスプレイ (HMD) は，装着者の顔を隠してしまう．このため，VR 空間を介しての他人とのコミュニケーションや，サロゲートロボットへの接続 などの場合に，装着者本人は映像を見ることができるが，装着者自身の顔を見ることができない．テレビ会議では容易に行えるような対面コミュニケーションが HMD を使うと達成できない．この問題を解決するため，本研究では赤外線反射ミラーを利用した光学系により HMD 装着中の利用者の顔を再現する機構を提案する．表情形成に重要な目周辺と口周辺の映像を取得し，それを利用者の頭部三次元モデルと結合する．HMD レンズ手前に配された赤外線反射ミラーは可視光を透過するので，装着者の視界の変化はないが，赤外光に対しては鏡として機能するので HMD 左右に配されたカメラで左右の目の周辺映像を取得できる．この機構は従来の HMD に装着することも可能であり，視線や表情の認識にも使用でき，多くの VR アプリケーションに適用可能である．

Face generation example.

References

• Jun Rekimoto, Keishiro Uragaki, Kenjiro Yamada Behind-the-mask: a face-through head-mounted display AVI ’18: Proceedings of the 2018 International Conference on Advanced Visual InterfacesMay 2018 Article No.: 32Pages 1–5https://doi.org/10.1145/3206505.3206544
• 暦本純一（東大／Sony CSL）、浦垣啓志郎（東工大）、山田献二朗（名大）, Behind-the-Mask: 顔映像が取得可能な頭部搭載型ディスプレイ, 日本ソフトウェア科学会インタラクティブシステムとソフトウェア研究会(WISS 2016) .