Masks are essential in medical settings and during infectious outbreaks but significantly impair speech communication, especially in environments with background noise. Existing solutions often require substantial computational resources or compromise hygiene and comfort. We propose a novel sensing approach that captures only the wearer’s voice by detecting mask surface vibrations using a piezoelectric sensor. Our developed device, MaskClip, employs a stainless steel clip with an optimally positioned piezoelectric sensor to selectively capture speech vibrations while inherently filtering out ambient noise. Evaluation experiments demonstrated superior performance with a low Character Error Rate of 6.1% in noisy environments compared to conventional microphones. Subjective evaluations by 102 participants also showed high satisfaction scores. This approach shows promise for applications in settings where clear voice communication must be maintained while wearing protective equipment, such as medical facilities, cleanrooms, and industrial environments.

MaskClipは、医療環境や感染症発生時に不可欠なマスクが引き起こす音声コミュニケーション問題を解決するデバイスです。マスク着用は特に背景ノイズのある環境で音声明瞭度と認識精度を大幅に低下させます。

従来のソフトウェアベースのノイズ抑制方法や多モーダル音声強化技術は計算リソースを大量に必要とし、イヤホンベースの音源分離は前方の音をノイズとして誤検出する可能性があります。また、マスクタイプのマイクは長期使用における衛生面の懸念があります。

MaskClipはこれらの問題を解決するため、高感度なピエゾセンサーを用いてマスク表面の振動を検出し、着用者の声のみを捉える手法を提案しています。ステンレス製のクリップに最適な位置で取り付けられたピエゾ電気センサーが音声振動を選択的に捉え、周囲のノイズを本質的にフィルタリングします。

評価実験では、ノイズの多い環境でも文字誤り率（CER）が6.1%と従来のマイクの19.7%に比べて優れた性能を示しました。102名の参加者による主観評価でも高い満足度スコアが得られています。

このアプローチは、医療施設、クリーンルームなど、保護具を着用しながら明確な音声コミュニケーションを維持する必要がある場面での応用が期待されます。

References

• Hirotaka Hiraki and Jun Rekimoto, MaskClip: Detachable Clip-On Piezoelectric Sensing of Mask Surface Vibrations for Real-Time Noise-Robust Speech Input, Augmented Humans 2025  PDF URL
• Hirotaka Hiraki and Jun Rekimoto. 2024. Piezoelectric Sensing of Mask Surface Waves for Noise-Suppressive Speech Input. In Adjunct Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology (UIST 2024 poster)  URL
• 平城裕隆, 暦本純一 マスク表面の振動計測による着脱可能なリアルタイム音声強調手法の提案 第84回UBI研究会 (🏆 学生奨励賞受賞) URL
• 🏆 CEATEC 2025 デジタル大臣賞 with 村田製作所 さん