In most cases, speeches or presentations at an international event are required to be given in a common language (e.g. English). However, for people who are not proficient in that common language, delivering presentations fluently is very difficult. Simultaneous translation seems to be a solution, but besides its high cost, simultaneous translation undermines the nature of the presentation by substituting the real voice of the lecturer as well as his/her emotions. In this research, we propose “SmartVoice”, a presentation support system, which aims to overcome language barriers. By tracking the lip motion of the lecturer, SmartVoice controls the playback of the narration, which is a sound data prepared in advance or created automatically using a voice synthesizer. SmartVoice also controls the intonation of the sound based on the position and shape of the lecturer’s mouth. As the lecturer can talk at his/her own pace with the voice automatically following, it appears as if he/she talks in his/her own voice. In our user evaluation, we confirmed that audiences find it difficult to distinguish between the narration generated by SmartVoice and that by a real voice. We also discuss the possibility of applying SmartVoice to fields other than multi-language presentation support, such as Automated Dialogue Replacement and language study.

国際的イベントでは, 共通言語での講演が求められることが多い. しかし, 語学力を短期間に向上させることが難しく, 共通言語が母国語ではない講演者にとって負担になる. また, 同時通訳などの方法は, コストが高い上, 講演者本人の発表を聞いているわけではないため, プレゼンテーションの自然さを損なってしまう. 本研究では, 言語の壁を越えてプレゼンテーションを可能にするシステム「SmartVoice」を提案する. SmartVoice は, 音声データ化した原稿を講演者の口の動きにあわせてスマートに送り出し, 講演者が自分のタイミングで講演できるようにする. 音声のイントネーションや強弱も, 口の位置と形状に基づいて 制御するため, まるで講演者本人が直接喋っているように見える. 評価実験を行ない, 本人のプレゼンテーションと SmartVoice によるプレゼンテーションがほとんど区別できないことがわかった. SmartVoice のアプリケーションは, 多言語を用いるプレゼンテーションに限らず, 映像に音声・セリフを入れるアフターレコーディングにも適用可能である

Xiang Li, and Jun Rekimoto, “SmartVoice: A Presentation Support System for Overcoming the Language Barriers”, CHI2014.
李 翔, 暦本 純一,SmartVoice:言語の壁を越えたプレゼンテーションサポーティングシステム (登壇発表) [最優秀論文賞]