by

UIST 2024 presentations

UIST 2024 LogoAt ACM UIST 2024, we will present the following research:

  • Conductive Fabric Diaphragm for Noise-Suppressive Headset Microphone (Demos) Hirotaka Hiraki , Shusuke Kanazawa , Takahiro Miura , Manabu Yoshida , Masaaki Mochimaru , Jun Rekimoto
  • Mapping Gaze and Head Movement via Salience Modulation and Hanger Reflex (Posters), Wanhui Li , Qing Zhang , Takuto Nakamura , Sinyu Lai , Jun Rekimoto
  • Piezoelectric Sensing of Mask Surface Waves for Noise-Suppressive Speech Input (Posters), Hirotaka Hiraki , Jun Rekimoto
by

経皮電気刺激で減塩食品の風味が増強できることを実証

味の素株式会社、東京大学大学院情報学環 暦本純一研究室・中村裕美特任准教授 (研究当時、現：東京都市大学准教授)、お茶の水女子大学 SDGs 推進研究所・笠松千夏特任教授 (研究当時、現：東京家政学院大学特任教授) らによる共同研究グループは、経皮電気刺激を用いた味覚増強技術において、低濃度（0.3%、0.6%）の食塩水への有意な塩味増強効果と、液体や固体、和洋中様々なジャンルの 6 種の減塩食品に対する有意な塩味の増強および風味への影響を実証しました。先行研究とされる食器型装置での味覚電気刺激に比べ、咀嚼・嚥下中でも電気刺激の効果があり、液体系だけでなく固体系食品にも応用が可能であり、世界的な健康課題である塩分過剰摂取防止に役立つことが期待されます。今回、この経皮電気刺激によって複数の食品の味がより強まることを実証した一連の研究成果が、Hypertension Research 誌に掲載されました。

東大プレスリリース：

Click to access 400246839.pdf

by

第23回情報科学技術フォーラム（FIT2024） トップコンファレンスセッション

第23回情報科学技術フォーラム（FIT2024） トップコンファレンスセッションにて、以下の発表を行います。

Telextiles: 布の触感の遠隔伝送 : 北岸 毅一 [Link] [Project Page]

【概要】 布の触感は服の快適性を決定づける重要な要素である。しかし、オンラインショッピングではその触感評価が困難である。そこで、遠隔で布の触感を伝達するTelextilesを提案した。自己教師あり学習で布の類似性を反映した潜在空間を作成し、モデルの学習に使用していない布が入力されても近似した触感を提示できる。これにより、オンラインでの購買体験の向上を目指している。

 Low-latency Beaming Display: 133μ秒の遅延で映像を提示する投影型接眼ディスプレイ : 廣井　裕一 [Link]

【概要】 本研究は、ステアラブルプロジェクタから受光メガネに映像を投影する光学透過HMDであるBeaming Displayにおいて、2D光センサによる位置検出とステアリングミラーの制御をアナログ閉ループで制御し、低遅延の映像提示を実現する。

by

CHI2024 presentations

At CHI2024, the following papers will be presented:

Watch Your Mouth: Silent Speech Recognition with Depth Sensing (full paper)
Xue Wang, Zixiong Su, Jun Rekimoto, Yang Zhang

FoodSkin: Fabricating Edible Gold Leaf Circuits on Food Surfaces (full paper)
Kunihiro Kato, Kaori Ikematsu, Hiromi Nakamura, Hinako Suzaki, Yuki Igarashi

Generating Summary Videos from User Questions to Support Video-Based Learning.(GenAICHI2024) Kazuki Kawamura, Jun Rekimoto.

by

Multiple paper awards at the Augmented Humans 2024 International Conference

The following paper awards were received at the Augmented Humans 2024 International Conference held in Melbourne, Australia from April 4-6, 2024. This conference featured research on augmenting human capabilities through advanced technologies:

2024年4月4日〜6日にオーストラリア・メルボルンで開催された人間拡張に関する国際学会 Augmented Humans 2024 で以下の論文賞を受賞しました

hm

Best Paper Honorable Mention:

Serendipity Wall: A Discussion Support System Using Real-time Speech Recognition and Large Language Model
Shota Imamura, Hirotaka Hiraki and Jun Rekimoto.

This research focuses on AI activating human discussions by dynamically searching for context-relevant information based on participants’ free speech recognized through voice recognition. It presents a user interface that displays discussion-relevant information summarized by a large language model on a large display without interrupting the discussion.

人間の議論をAIが活性化させるための研究で、参加者の自由発話による議論を音声認識し、議論の文脈に近い関連論文を動的に検索します。大規模言語モデルによって論文内容を要約し、議論をしている場所の大型ディスプレイに表示するなど、議論をさまたげずに関連情報を提示するユーザインタフェースが実現されています。

Best Poster Award:

Aged Eyes: Optically Simulating Presbyopia Using Tunable Lenses
Qing Zhang, Yoshihito Kondoh, Yuta Itoh and Jun Rekimoto.

This enables reproducing and simulating visual phenomena like presbyopia using liquid lenses that can dynamically adjust eyeglass degree, contributing to realizing the universal design.

眼鏡の「度」を動的に調整できる液体レンズを利用して、老眼などの視覚現象を再現して疑似体験することを可能にします。これによりユニバーサルデザインの実現に貢献します。

by

Augmented Humans 2024

at Augmented Humans 2024, we present the following papers and posters:

papers:

WhisperMask: a noise suppressive mask-type microphone for whisper speech
Hirotaka Hiraki, Shusuke Kanazawa, Takahiro Miura, Manabu Yoshida, Masaaki Mochimaru and Jun Rekimoto

FastPerson: Enhancing Video Learning through Effective Video Summarization that Preserves Linguistic and Visual Contexts
Kazuki Kawamura and Jun Rekimoto

SkillsInterpreter: A Case Study of Automatic Annotation of Flowcharts to Support Browsing Instructional Videos in Modern Martial Arts using Large Language Models
Kotaro Oomori, Yoshio Ishiguro and Jun Rekimoto

Serendipity Wall: A Discussion Support System Using Real-time Speech Recognition and Large Language Model
Shota Imamura, Hirotaka Hiraki and Jun Rekimoto

Exploring the Kuroko Paradigm: The Effect of Enhancing Virtual Humans with Reality Actuators in Augmented Reality
Émilie Fabre, Jun Rekimoto and Yuta Itoh

posters:

QA-FastPerson: Extending Video Platform Search Capabilities by Creating Summary Videos in Response to User Queries
Kazuki Kawamura and Jun Rekimoto

Aged Eyes: Optically Simulating Presbyopia Using Tunable Lenses
Qing Zhang, Yoshihito Kondoh, Yuta Itoh and Jun Rekimoto

by

IEEE VR 2024 workshop ‘seamless reality’

At IEEE VR 2024 workshop ‘Seamless Reality’ the following papers are presented:

HoloArm: A Face-Following 3D Display Using Autostereoscopic Display and Robot Arm, Koya Dendo, Yuta Itoh, Émilie Fabre, Jun Rekimoto

Pinching Tactile Display: A Remote Haptic Feedback System for Fabric Texture, Takekazu Kitagishi, Hirotaka Hiraki, Yoshio Ishiguro, Jun Rekimoto

Serendipity Wall: A Discussion Support System Using Real-time Speech Recognition and Natural Language Processing Technology, Shota Imamura, Hirotaka Hiraki, Jun Rekimoto

SUMART: SUMmARizing Translation from Wordy to Concise Expression, Naoto Nishida, Jun Rekimoto

The Kuroko Paradigm: Augmenting Avatars in Augmented Reality with Reality Actuators, Émilie Fabre, Yuta Itoh

by

INTERACTION 2024

INTERACTION 2024 (2024/3/6 – 3/8 開催）にて、以下の論文を発表します：

FastPerson: ユーザ中心の学習体験のための視覚・音声情報に基づく講義動画要約
河村 和紀，暦本 純一（東大／ソニーCSL）

 WhisperMask:騒音環境で音声入力可能なマスク型マイク
平城 裕隆（東大／産総研），金澤 周介，三浦 貴大，吉田 学，持丸 正明（産総研），暦本 純一（東大／ソニーCSL）

Serendipity Wall: 会話文字起こしのベクター検索と大規模言語モデルによる議論支援システム
今村 翔太（東大），平城 裕隆（東大／産総研），暦本 純一（東大／ソニーCSL）

INTERACTION 2024
by

CHI2023 Presentations

At ACM CHI2023, we present the following papers and interactivities:

Papers:

  1. Zixiong Su, Shitao Fang, and Jun Rekimoto LipLearner: Customizable Silent Speech Interactions on Mobile Devices, [Best Paper Award] [Link] [Project Page]
  2. Jun Rekimoto, WESPER: Zero-shot and Realtime Whisper to Normal Voice Conversion for Whisper-based Speech interactions, [Link] [Project Page]

Interactivity:

  1. Yuna Watanabe, Xi Laura Cang, Rúbia Reis Guerra, Devyani McLaren, Preeti Vyas, Jun Rekimoto, Karon E MacLean, Demonstrating Virtual Teamwork with Synchrobots: A Robot-Mediated Approach to Improving Connectedness, [Link]
  2. Hirotaka Hiraki, Shusuke Kanazawa, Takahiro Miura, Manabu Yoshida, Masaaki Mochimaru, Jun Rekimoto, External noise reduction using WhisperMask, a mask-type wearable microphone, [Link]
  3. Kei Asano, Naoki Kimura, Jun Rekimoto, HMDspeller: Fast and Hands-free Text Entry System for Head Mount Displays using Silent Spelling Recognition, [Link]
  4. Kunihiro Kato, Ami Motomura, Kaori Ikematsu, Hiromi Nakamura, Yuki Igarashi, Demonstrating FoodSkin: A Method for Creating Electronic Circuits on Food Surfaces by Using Edible Gold Leaf for Enhancement of Eating Experience, [Link]