by

INTERACTION 2025

INTERACTION 2025 (2025/3/2 – 3/4 開催）にて、以下の論文を発表します：

登壇発表

(01👑) ClothTalk: 騒音環境でも GPU なしでリアルタイムに綺麗な声を入力可能な導電布マイクロフォン
平城裕隆 (東京大学/産総研)，金澤周介，三浦貴大，吉田学，持丸正明 (産総研)，暦本純一 (東京大学/Sony CSL) 


(16) GazeLLM: 視覚情報を利用するマルチモーダル LLM
暦本純一 (東京大学、ソニーCSL)

(25) 遠隔コミュニケーション環境における脳波同期現象の成立要件
ライ シンユ，李 万慧，天野 薫 (東京大学)，暦本 純一 (東京大学/ソニーコンピュータサイエンス研究所)

インタラクティブ発表

(1B24★) NoseKnowsNorth: 鼻背側面への振動刺激を用いた方向提示デバイス
仲村 友杜，西本 和貴，由井 陽，鳴海 拓志 (東京大学)，暦本 純一 (東京大学/ソニーCSL)

(1B51★)ClothTalk: 騒音環境でも GPU なしでリアルタイムに綺麗な声を入力可能な導電布マイクロフォン
平城裕隆 (東京大学/産総研)，金澤周介，三浦貴大，吉田学，持丸正明 (産総研)，暦本純一 (東京大学/Sony CSL)

by

ZOZO NEXT、東京大学大学院、クラスターの3者が衣服の着心地の計測・数値化に関する共同研究を開始～ ECで「好みの着心地」を検索できる、新たな購買体験の提供を目指す ～

東京大学大学院　情報学環（所在地：東京都文京区 学環長：目黒 公郎）総合分析情報学コース 暦本研究室（担当教員：暦本 純一）は、株式会社ZOZO NEXT（本社：千葉県千葉市　代表取締役CEO：澤田 宏太郎）の研究開発組織「ZOZO研究所」とクラスター株式会社（本社：東京都品川区　代表取締役CEO：加藤 直人）の研究機関であるクラスターメタバース研究所とともに、衣服の着心地の計測・数値化に関する共同研究を2024年12月より開始しました。

＜本共同研究実施の背景＞

これまで東京大学暦本研究室とZOZO研究所において、衣服の着心地の数値化に関する検討をおこなってきました。

実店舗において衣服を購入する際は、実際に触れることで着心地を直接確認することが可能です。しかし、ECでは着心地の確認が難しく、商品の画像や生地の素材表示、レビューを参考に着心地を推測する必要があります。また、自身のお気に入りの素材感を持つ製品を探すための手段が十分に整備されていないため、購入した商品が期待にそぐわない場合、購買体験の質が低下してしまう可能性があります。

本共同研究では、これらの課題を解決するため、東京大学暦本研究室とZOZO研究所が開発した布の触感を確認できるシステムを活用し、ファッションに関する莫大な情報資産を基に研究開発をおこなってきたZOZO研究所と、繊細なデータを取得できる視触覚データ取得システムのノウハウを持つクラスターメタバース研究所とともに、好みの着心地の衣服を探すためのシステムについて研究をおこないます。

＜期待される研究成果＞

本共同研究を通じて、衣服の着心地を計測・数値化するための機械学習および情報入出力手法の知見獲得を目指します。将来的には、着心地の計測・数値化を通じて、ユーザーの好みに合った着心地の服選びを手助けすることにより、ユーザーの衣服への愛着を醸成し、より満足度の高いECでの購買体験を提供することを目指します。

プレスリリース：https://www.iii.u-tokyo.ac.jp/news/2025020721997

by

SIGGRAPH ASIA 2024

At SIGGRAPH ASIA 2024, we will present the following research:


Gaussians in the City: Enhancing 3D Scene Reconstruction under distractors with Text-guided Segmentation and Inpainting Naoki Shitanda, Jun Rekimoto (Sony CSL Kyoto, The University of Tokyo) https://asia.siggraph.org/2024/presentation/?id=pos_193&sess=sess198

Incremental Gaussian Splatting: Gradual 3D Reconstruction from a Monocular Camera Following Physical World Changes Keigo Minamida (UTokyo), Jun Rekimoto(UTokyo,SonyCSL Kyoto) https://t.co/RR7oGGiOLu

Jaku-in: A Cultural Skills Training System for Recording and Reproducing Three-dimensional Body, Eye, and Hand Movements Sotaro YOKOI, Kaishi AMITANI, Natsuki HAMANISHI, Jun REKIMOTO (Sony CSL Kyoto, UTokyo) https://t.co/t9WvWSGRk6

by

UIST 2024 presentations

UIST 2024 LogoAt ACM UIST 2024, we will present the following research:

  • Conductive Fabric Diaphragm for Noise-Suppressive Headset Microphone (Demos) Hirotaka Hiraki , Shusuke Kanazawa , Takahiro Miura , Manabu Yoshida , Masaaki Mochimaru , Jun Rekimoto
  • Mapping Gaze and Head Movement via Salience Modulation and Hanger Reflex (Posters), Wanhui Li , Qing Zhang , Takuto Nakamura , Sinyu Lai , Jun Rekimoto
  • Piezoelectric Sensing of Mask Surface Waves for Noise-Suppressive Speech Input (Posters), Hirotaka Hiraki , Jun Rekimoto
by

経皮電気刺激で減塩食品の風味が増強できることを実証

味の素株式会社、東京大学大学院情報学環 暦本純一研究室・中村裕美特任准教授 (研究当時、現：東京都市大学准教授)、お茶の水女子大学 SDGs 推進研究所・笠松千夏特任教授 (研究当時、現：東京家政学院大学特任教授) らによる共同研究グループは、経皮電気刺激を用いた味覚増強技術において、低濃度（0.3%、0.6%）の食塩水への有意な塩味増強効果と、液体や固体、和洋中様々なジャンルの 6 種の減塩食品に対する有意な塩味の増強および風味への影響を実証しました。先行研究とされる食器型装置での味覚電気刺激に比べ、咀嚼・嚥下中でも電気刺激の効果があり、液体系だけでなく固体系食品にも応用が可能であり、世界的な健康課題である塩分過剰摂取防止に役立つことが期待されます。今回、この経皮電気刺激によって複数の食品の味がより強まることを実証した一連の研究成果が、Hypertension Research 誌に掲載されました。

東大プレスリリース：

Click to access 400246839.pdf

by

第23回情報科学技術フォーラム（FIT2024） トップコンファレンスセッション

第23回情報科学技術フォーラム（FIT2024） トップコンファレンスセッションにて、以下の発表を行います。

Telextiles: 布の触感の遠隔伝送 : 北岸 毅一 [Link] [Project Page]

【概要】 布の触感は服の快適性を決定づける重要な要素である。しかし、オンラインショッピングではその触感評価が困難である。そこで、遠隔で布の触感を伝達するTelextilesを提案した。自己教師あり学習で布の類似性を反映した潜在空間を作成し、モデルの学習に使用していない布が入力されても近似した触感を提示できる。これにより、オンラインでの購買体験の向上を目指している。

 Low-latency Beaming Display: 133μ秒の遅延で映像を提示する投影型接眼ディスプレイ : 廣井　裕一 [Link]

【概要】 本研究は、ステアラブルプロジェクタから受光メガネに映像を投影する光学透過HMDであるBeaming Displayにおいて、2D光センサによる位置検出とステアリングミラーの制御をアナログ閉ループで制御し、低遅延の映像提示を実現する。

by

CHI2024 presentations

At CHI2024, the following papers will be presented:

Watch Your Mouth: Silent Speech Recognition with Depth Sensing (full paper)
Xue Wang, Zixiong Su, Jun Rekimoto, Yang Zhang

FoodSkin: Fabricating Edible Gold Leaf Circuits on Food Surfaces (full paper)
Kunihiro Kato, Kaori Ikematsu, Hiromi Nakamura, Hinako Suzaki, Yuki Igarashi

Generating Summary Videos from User Questions to Support Video-Based Learning.(GenAICHI2024) Kazuki Kawamura, Jun Rekimoto.

by

Multiple paper awards at the Augmented Humans 2024 International Conference

The following paper awards were received at the Augmented Humans 2024 International Conference held in Melbourne, Australia from April 4-6, 2024. This conference featured research on augmenting human capabilities through advanced technologies:

2024年4月4日〜6日にオーストラリア・メルボルンで開催された人間拡張に関する国際学会 Augmented Humans 2024 で以下の論文賞を受賞しました

hm

Best Paper Honorable Mention:

Serendipity Wall: A Discussion Support System Using Real-time Speech Recognition and Large Language Model
Shota Imamura, Hirotaka Hiraki and Jun Rekimoto.

This research focuses on AI activating human discussions by dynamically searching for context-relevant information based on participants’ free speech recognized through voice recognition. It presents a user interface that displays discussion-relevant information summarized by a large language model on a large display without interrupting the discussion.

人間の議論をAIが活性化させるための研究で、参加者の自由発話による議論を音声認識し、議論の文脈に近い関連論文を動的に検索します。大規模言語モデルによって論文内容を要約し、議論をしている場所の大型ディスプレイに表示するなど、議論をさまたげずに関連情報を提示するユーザインタフェースが実現されています。

Best Poster Award:

Aged Eyes: Optically Simulating Presbyopia Using Tunable Lenses
Qing Zhang, Yoshihito Kondoh, Yuta Itoh and Jun Rekimoto.

This enables reproducing and simulating visual phenomena like presbyopia using liquid lenses that can dynamically adjust eyeglass degree, contributing to realizing the universal design.

眼鏡の「度」を動的に調整できる液体レンズを利用して、老眼などの視覚現象を再現して疑似体験することを可能にします。これによりユニバーサルデザインの実現に貢献します。

by

Augmented Humans 2024

at Augmented Humans 2024, we present the following papers and posters:

papers:

WhisperMask: a noise suppressive mask-type microphone for whisper speech
Hirotaka Hiraki, Shusuke Kanazawa, Takahiro Miura, Manabu Yoshida, Masaaki Mochimaru and Jun Rekimoto

FastPerson: Enhancing Video Learning through Effective Video Summarization that Preserves Linguistic and Visual Contexts
Kazuki Kawamura and Jun Rekimoto

SkillsInterpreter: A Case Study of Automatic Annotation of Flowcharts to Support Browsing Instructional Videos in Modern Martial Arts using Large Language Models
Kotaro Oomori, Yoshio Ishiguro and Jun Rekimoto

Serendipity Wall: A Discussion Support System Using Real-time Speech Recognition and Large Language Model
Shota Imamura, Hirotaka Hiraki and Jun Rekimoto

Exploring the Kuroko Paradigm: The Effect of Enhancing Virtual Humans with Reality Actuators in Augmented Reality
Émilie Fabre, Jun Rekimoto and Yuta Itoh

posters:

QA-FastPerson: Extending Video Platform Search Capabilities by Creating Summary Videos in Response to User Queries
Kazuki Kawamura and Jun Rekimoto

Aged Eyes: Optically Simulating Presbyopia Using Tunable Lenses
Qing Zhang, Yoshihito Kondoh, Yuta Itoh and Jun Rekimoto

by

IEEE VR 2024 workshop ‘seamless reality’

At IEEE VR 2024 workshop ‘Seamless Reality’ the following papers are presented:

HoloArm: A Face-Following 3D Display Using Autostereoscopic Display and Robot Arm, Koya Dendo, Yuta Itoh, Émilie Fabre, Jun Rekimoto

Pinching Tactile Display: A Remote Haptic Feedback System for Fabric Texture, Takekazu Kitagishi, Hirotaka Hiraki, Yoshio Ishiguro, Jun Rekimoto

Serendipity Wall: A Discussion Support System Using Real-time Speech Recognition and Natural Language Processing Technology, Shota Imamura, Hirotaka Hiraki, Jun Rekimoto

SUMART: SUMmARizing Translation from Wordy to Concise Expression, Naoto Nishida, Jun Rekimoto

The Kuroko Paradigm: Augmenting Avatars in Augmented Reality with Reality Actuators, Émilie Fabre, Yuta Itoh