JackIn Eye is a new human-human communication framework for connecting two or more people. With first-person view video streaming from a person (called Body) wearing a transparent head-mounted display and a head-mounted camera, the other person (called Ghost) participates in the shared 1st-person view. With JackIn, people’s activities can be shared and assistance or guidance can be given through other peoples expertise. This can be applied to daily activities such as cooking lessons, shopping navigation, education in craftwork or electrical work, and sharing experiences of sporting and live events. For a better viewing experience with 1st-person view, we developed the out-of-body view in which 1st-person images are integrated to construct a scene around a Body, and a Ghost can virtually control the viewpoint to look around the space surrounding the Body. We also developed a tele-pointing gesture interface. We conducted an experiment to evaluate how effective this framework is and found that Ghosts can understand the spatial situation of the Body.

JackIn Eyeは，人間が他の人間の環境に没入し，その状況や体験を共有したり共同作業を行ったりする際のインタラクションの枠組みである．このようなインタフェースは，現場の作業を遠隔地の専門家が支援したり，現地での体験を他の利用者に伝送する，遠隔から作業者を誘導する，などの応用に適用できる．Bodyと呼ぶ，実環境にいる利用者の一人称映像を遠隔地の利用者(Ghost)が観測し状況を共有する．さらに，Ghostが自由な視点位置で環境を観測することを可能にするために，一人称映像のシーケンスからSLAMに基づいて空間をモデリングし，擬似的にGhostの視点外から状況を観測することを可能にする「体外離脱視点」を提供する．これにより，GhostはBodyに追従しながらも独立な視点で環境を観測することができ，一人称映像特有のモーションシックネス問題も解決することができる．また，GhostがBodyを効果的に支援できるように，Bodyの視野外にある事物をポインティングするための視覚化技法を提案する．

References

• Shunichi Kasahara and Jun Rekimoto, JackIn: Integrating First-Person View with Out-of-Body Vision Generation for Human-Human Augmentation 5th International Conference on Augmented Human (AH2014), 2014. [Best Presentation Award] PDF
• 笠原 俊一, 暦本 純一, JackIn: 一人称視点と体外離脱視点を融合した人間－人間オーグメンテーションの枠組み,情報処理学会インタラクション2014 ベストペーパー賞/ベストインタラクティブ発表賞