Speech shadowing is a proven way of practicing speaking skills when learning foreign languages. Though effective, however, it is very difficult doing because the sound playback is irrelevant to the learner’s speech. When a learner fails to catch up, he/she will have to reset the playback or jumps directed to where is being played, resulting in a waste of time and learner’s resilience in doing it. In this research, we propose a shadowing support system called WithYou. By comparing on-the-fly speech recognition results and the words currently being played, WithYou can detect shadowing failure while a student is practicing, and then rewind the playback position to the corresponding time point when the failure occurred. Moreover, based on the recognition tailored for shadowing practice, WithYou is capable of recognizing pauses in learner’s speech during trial-and-error. In addition, it supports repetitive practice with a certain extent of error tolerance so that the feedback it provides is neither too frequent nor too late.

シャドーイングはお手本となるモデル音声を聞きながら即座に復唱する手法であり，スピーキングの練習に効果的であることが知られている．しかし，現状のシャドーイングでは学習者の能力と関係なくモデル音声が再生されるため，非熟練者にとっては練習が難しい．言い間違いなどで学習者の発話進度がモデル音声から遅れてしまった場合，学習者は音声の再生を手動で停止するかモデル音声の進度に合わせて文章を飛ばしていく必要があり，間違ったところを素早く練習できないため学習の効率が低下してしまう．本研究では，モデル音声と学習者の発話進度を認識し，モデル音声の再生を学習者の進度に合わせることによるスピーキングの練習をサポートを可能にする「WithYou」を提案する．「WithYou」は音声認識を用いて音声データの再生と学習者の発話進度をリアルタイムに認識する．また，モデル音声の再生している単語と学習者が話している単語を比べることで，シャドーイングにおける失敗を検出されるため，学習者の発話進度に合わせたモデル音声の再生がされる．さらに，ミスをした際に生じる間や重複発話の認識をすることが可能であり，シャドーイングの品質を保つために学習者のミスを適切なタイミングでフィードバックすることができる．

References

• Xinlei Zhang, Takashi Miyaki, Jun Rekimoto: WithYou: An Interactive Shadowing Coach with Speech Recognition. UIST ’16 Demo
• 張鑫磊, 味八木崇，暦本純一: WithYou: 音声認識を用いたインタラティブシャドーイングコーチ, インタラクション2016 インタラクティブ発表（プレミアム発表）