by

Augmented Humans 2025 Presentations

Augmented Humans 2025 Presentations

Papers

  • Conditions for Inter-Brain Synchronization in Remote Communication: Investigating the Role of Transmission Delay, Sinyu Lai, Wanhui Li, Kaoru Amano and Jun Rekimoto
  • GazeLLM: Multimodal LLMs Incorporating Human Visual Attention, Jun Rekimoto [Project]
  • MaskClip: Detachable Clip-On Piezoelectric Sensing of Mask Surface Vibrations for Real-Time Noise-Robust Speech Input, Hirotaka Hiraki and Jun Rekimoto [Project]

Poster

  • Look and Talk: Seamless AI Assistant Interaction with Gaze-Triggered Activation, Qing Zhang and Jun Rekimoto
by

インタラクション2025で最優秀論文賞など3件受賞

2025年3月2日から3月4日に開催された情報処理学会インタラクション2025において、「ClothTalk：騒音環境下でもGPU不要でリアルタイムにクリアな音声入力を実現する導電布マイクロフォン」が最優秀論文賞、最優秀発表賞、インタラクティブ発表賞（PC推薦）の3件を受賞しました。

受賞名
情報処理学会 インタラクション2025 最優秀論文賞、最優秀発表賞、インタラクティブ発表賞（PC推薦）

発表タイトル
ClothTalk：騒音環境下でもGPU不要でリアルタイムにクリアな音声入力を実現する導電布マイクロフォン

著者
平城裕隆（学際情報学府・産総研）、金澤周介（産総研）、三浦貴大（産総研）、吉田 学（産総研）、持丸正明（産総研）、暦本純一（情報学環・ソニーCSL）


研究の概要
ClothTalkは、従来の高性能な音声強調システムで必要とされるGPUなどの計算資源を用いずに、ウェアラブルデバイスとして実現された新型マイクロフォンです。導電布を用いた柔軟なダイアフラムと、独自の回路設計により、周囲の雑音に左右されずに利用者の声を正確に捉えることができます。これにより、オンライン会議やスマートデバイスでの音声入力、さらには騒がしい公共の場など、さまざまなシーンでの利用が期待されます。

関連リンク

研究の紹介動画（30秒)：
https://youtu.be/kkm_Dr-cuX0?si=4Bx3rFoq6mjC4a_D

インタラクション2025：
https://www.interaction-ipsj.org/2025/award/
https://www.interaction-ipsj.org/proceedings/2025/data/pdf/INT25001.pdf

by

INTERACTION 2025

INTERACTION 2025 (2025/3/2 – 3/4 開催）にて、以下の論文を発表します：

登壇発表

(01👑) ClothTalk: 騒音環境でも GPU なしでリアルタイムに綺麗な声を入力可能な導電布マイクロフォン
平城裕隆 (東京大学/産総研)，金澤周介，三浦貴大，吉田学，持丸正明 (産総研)，暦本純一 (東京大学/Sony CSL) 


(16) GazeLLM: 視覚情報を利用するマルチモーダル LLM
暦本純一 (東京大学、ソニーCSL)

(25) 遠隔コミュニケーション環境における脳波同期現象の成立要件
ライ シンユ，李 万慧，天野 薫 (東京大学)，暦本 純一 (東京大学/ソニーコンピュータサイエンス研究所)

インタラクティブ発表

(1B24★) NoseKnowsNorth: 鼻背側面への振動刺激を用いた方向提示デバイス
仲村 友杜，西本 和貴，由井 陽，鳴海 拓志 (東京大学)，暦本 純一 (東京大学/ソニーCSL)

(1B51★)ClothTalk: 騒音環境でも GPU なしでリアルタイムに綺麗な声を入力可能な導電布マイクロフォン
平城裕隆 (東京大学/産総研)，金澤周介，三浦貴大，吉田学，持丸正明 (産総研)，暦本純一 (東京大学/Sony CSL)

by

ZOZO NEXT、東京大学大学院、クラスターの3者が衣服の着心地の計測・数値化に関する共同研究を開始～ ECで「好みの着心地」を検索できる、新たな購買体験の提供を目指す ～

東京大学大学院　情報学環（所在地：東京都文京区 学環長：目黒 公郎）総合分析情報学コース 暦本研究室（担当教員：暦本 純一）は、株式会社ZOZO NEXT（本社：千葉県千葉市　代表取締役CEO：澤田 宏太郎）の研究開発組織「ZOZO研究所」とクラスター株式会社（本社：東京都品川区　代表取締役CEO：加藤 直人）の研究機関であるクラスターメタバース研究所とともに、衣服の着心地の計測・数値化に関する共同研究を2024年12月より開始しました。

＜本共同研究実施の背景＞

これまで東京大学暦本研究室とZOZO研究所において、衣服の着心地の数値化に関する検討をおこなってきました。

実店舗において衣服を購入する際は、実際に触れることで着心地を直接確認することが可能です。しかし、ECでは着心地の確認が難しく、商品の画像や生地の素材表示、レビューを参考に着心地を推測する必要があります。また、自身のお気に入りの素材感を持つ製品を探すための手段が十分に整備されていないため、購入した商品が期待にそぐわない場合、購買体験の質が低下してしまう可能性があります。

本共同研究では、これらの課題を解決するため、東京大学暦本研究室とZOZO研究所が開発した布の触感を確認できるシステムを活用し、ファッションに関する莫大な情報資産を基に研究開発をおこなってきたZOZO研究所と、繊細なデータを取得できる視触覚データ取得システムのノウハウを持つクラスターメタバース研究所とともに、好みの着心地の衣服を探すためのシステムについて研究をおこないます。

＜期待される研究成果＞

本共同研究を通じて、衣服の着心地を計測・数値化するための機械学習および情報入出力手法の知見獲得を目指します。将来的には、着心地の計測・数値化を通じて、ユーザーの好みに合った着心地の服選びを手助けすることにより、ユーザーの衣服への愛着を醸成し、より満足度の高いECでの購買体験を提供することを目指します。

プレスリリース：https://www.iii.u-tokyo.ac.jp/news/2025020721997

by

SIGGRAPH ASIA 2024

At SIGGRAPH ASIA 2024, we will present the following research:


Gaussians in the City: Enhancing 3D Scene Reconstruction under distractors with Text-guided Segmentation and Inpainting Naoki Shitanda, Jun Rekimoto (Sony CSL Kyoto, The University of Tokyo) https://asia.siggraph.org/2024/presentation/?id=pos_193&sess=sess198

Incremental Gaussian Splatting: Gradual 3D Reconstruction from a Monocular Camera Following Physical World Changes Keigo Minamida (UTokyo), Jun Rekimoto(UTokyo,SonyCSL Kyoto) https://t.co/RR7oGGiOLu

Jaku-in: A Cultural Skills Training System for Recording and Reproducing Three-dimensional Body, Eye, and Hand Movements Sotaro YOKOI, Kaishi AMITANI, Natsuki HAMANISHI, Jun REKIMOTO (Sony CSL Kyoto, UTokyo) https://t.co/t9WvWSGRk6

by

UIST 2024 presentations

UIST 2024 LogoAt ACM UIST 2024, we will present the following research:

  • Conductive Fabric Diaphragm for Noise-Suppressive Headset Microphone (Demos) Hirotaka Hiraki , Shusuke Kanazawa , Takahiro Miura , Manabu Yoshida , Masaaki Mochimaru , Jun Rekimoto
  • Mapping Gaze and Head Movement via Salience Modulation and Hanger Reflex (Posters), Wanhui Li , Qing Zhang , Takuto Nakamura , Sinyu Lai , Jun Rekimoto
  • Piezoelectric Sensing of Mask Surface Waves for Noise-Suppressive Speech Input (Posters), Hirotaka Hiraki , Jun Rekimoto
by

経皮電気刺激で減塩食品の風味が増強できることを実証

味の素株式会社、東京大学大学院情報学環 暦本純一研究室・中村裕美特任准教授 (研究当時、現：東京都市大学准教授)、お茶の水女子大学 SDGs 推進研究所・笠松千夏特任教授 (研究当時、現：東京家政学院大学特任教授) らによる共同研究グループは、経皮電気刺激を用いた味覚増強技術において、低濃度（0.3%、0.6%）の食塩水への有意な塩味増強効果と、液体や固体、和洋中様々なジャンルの 6 種の減塩食品に対する有意な塩味の増強および風味への影響を実証しました。先行研究とされる食器型装置での味覚電気刺激に比べ、咀嚼・嚥下中でも電気刺激の効果があり、液体系だけでなく固体系食品にも応用が可能であり、世界的な健康課題である塩分過剰摂取防止に役立つことが期待されます。今回、この経皮電気刺激によって複数の食品の味がより強まることを実証した一連の研究成果が、Hypertension Research 誌に掲載されました。

東大プレスリリース：

Click to access 400246839.pdf

by

第23回情報科学技術フォーラム（FIT2024） トップコンファレンスセッション

第23回情報科学技術フォーラム（FIT2024） トップコンファレンスセッションにて、以下の発表を行います。

Telextiles: 布の触感の遠隔伝送 : 北岸 毅一 [Link] [Project Page]

【概要】 布の触感は服の快適性を決定づける重要な要素である。しかし、オンラインショッピングではその触感評価が困難である。そこで、遠隔で布の触感を伝達するTelextilesを提案した。自己教師あり学習で布の類似性を反映した潜在空間を作成し、モデルの学習に使用していない布が入力されても近似した触感を提示できる。これにより、オンラインでの購買体験の向上を目指している。

 Low-latency Beaming Display: 133μ秒の遅延で映像を提示する投影型接眼ディスプレイ : 廣井　裕一 [Link]

【概要】 本研究は、ステアラブルプロジェクタから受光メガネに映像を投影する光学透過HMDであるBeaming Displayにおいて、2D光センサによる位置検出とステアリングミラーの制御をアナログ閉ループで制御し、低遅延の映像提示を実現する。

by

CHI2024 presentations

At CHI2024, the following papers will be presented:

Watch Your Mouth: Silent Speech Recognition with Depth Sensing (full paper)
Xue Wang, Zixiong Su, Jun Rekimoto, Yang Zhang

FoodSkin: Fabricating Edible Gold Leaf Circuits on Food Surfaces (full paper)
Kunihiro Kato, Kaori Ikematsu, Hiromi Nakamura, Hinako Suzaki, Yuki Igarashi

Generating Summary Videos from User Questions to Support Video-Based Learning.(GenAICHI2024) Kazuki Kawamura, Jun Rekimoto.

by

Multiple paper awards at the Augmented Humans 2024 International Conference

The following paper awards were received at the Augmented Humans 2024 International Conference held in Melbourne, Australia from April 4-6, 2024. This conference featured research on augmenting human capabilities through advanced technologies:

2024年4月4日〜6日にオーストラリア・メルボルンで開催された人間拡張に関する国際学会 Augmented Humans 2024 で以下の論文賞を受賞しました

hm

Best Paper Honorable Mention:

Serendipity Wall: A Discussion Support System Using Real-time Speech Recognition and Large Language Model
Shota Imamura, Hirotaka Hiraki and Jun Rekimoto.

This research focuses on AI activating human discussions by dynamically searching for context-relevant information based on participants’ free speech recognized through voice recognition. It presents a user interface that displays discussion-relevant information summarized by a large language model on a large display without interrupting the discussion.

人間の議論をAIが活性化させるための研究で、参加者の自由発話による議論を音声認識し、議論の文脈に近い関連論文を動的に検索します。大規模言語モデルによって論文内容を要約し、議論をしている場所の大型ディスプレイに表示するなど、議論をさまたげずに関連情報を提示するユーザインタフェースが実現されています。

Best Poster Award:

Aged Eyes: Optically Simulating Presbyopia Using Tunable Lenses
Qing Zhang, Yoshihito Kondoh, Yuta Itoh and Jun Rekimoto.

This enables reproducing and simulating visual phenomena like presbyopia using liquid lenses that can dynamically adjust eyeglass degree, contributing to realizing the universal design.

眼鏡の「度」を動的に調整できる液体レンズを利用して、老眼などの視覚現象を再現して疑似体験することを可能にします。これによりユニバーサルデザインの実現に貢献します。