日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/視覚-触覚統合arXiv:2605.14571

ロボットに触覚を感じさせる:身体化されたミラー共鳴のための視覚-触覚皮質アライメント

Let Robots Feel Your Touch: Visuo-Tactile Cortical Alignment for Embodied Mirror Resonance

シェア:XThreadsFacebookLINEはてブBluesky

視覚と触覚の表現を多層的に整合させることで、RGB画像からロボットハンド上の触覚信号を予測し、人間の触れ合いに対する反射的な応答を可能にするフレームワークを提案した。

詳しい要約

1. どんなもの?

視覚と触覚の皮質対応をロボットに実装し、他者の身体への接触観察から触覚を予測する枠組み。Mirror Touch Netを提案し、RGB画像からロボットハンドの1,140 taxelsにわたるmmスケール触覚信号を予測。人間の手の観察にも拡張し、触覚予測と反射応答を可能にする。

2. 先行研究と比べてどこがすごい?

従来のロボットは視覚-体性感覚皮質間の構造的対応を計算論的に実装する枠組みを欠いていた。本研究はmirror touchの神経原理を操作化し、意味・分布・幾何の多レベル整合で視覚表現を触覚多様体と整合する形状に再形成。クロスモーダル写像の複雑性を低減し、説明可能な先行的触覚と共感的HRIへの道を示す。

3. 技術・手法の肝は?

- Mirror Touch Net - 視覚と触覚表現間の多レベル制約 - semantic alignment - distributional alignment - geometric alignment - RGB画像から1,140 taxelsの触覚信号を予測 - Manifold analysis - 制約が視覚表現を触覚多様体と整合する幾何に再形成 - クロスモーダル写像の複雑性を低減 - 人間の手のクロスドメイン観察への拡張 - 触覚予測と反射応答

4. どうやって有効だと検証した?

Manifold analysisにより、制約が視覚表現を触覚多様体と整合する幾何に再形成し、クロスモーダル写像の複雑性を低減することを示した。また、人間の手のクロスドメイン観察に枠組みを拡張し、触覚予測と反射応答を可能にすることを実証。

5. 議論はある?

視覚-触覚共鳴の神経原理をロボット知覚に結びつけ、先行的触覚と共感的human-robot interactionへの説明可能な経路を提供。コードは公開されている。

6. 次に読むべき論文は?

要旨からは不明(参照/比較されている研究が明示されていないため、同分野の定番としてvisuo-tactile learningやmirror neuron robotics関連の研究が考えられる)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianfang Zhu, Ning An, Rui Wang, Jiasi Gao, Qingming Luo, Anan Li, Guyue Zhou

分類: cs.RO, cs.LG

原文アブストラクト

Observing touch on another's body can elicit corresponding tactile sensations in the observer, a phenomenon termed mirror touch that supports empathy and social perception. This visuo-tactile resonance is thought to rely on structural correspondence between visual and somatosensory cortices, yet robotic systems lack computational frameworks that instantiate this principle. Here we demonstrate that cortical correspondence can be operationalized to endow robots with mirror touch. We introduce Mirror Touch Net, which imposes semantic, distributional and geometric alignment between visual and tactile representations through multi-level constraints, enabling prediction of millimetre-scale tactile signals across 1,140 taxels on a robotic hand from RGB images. Manifold analysis reveals that these constraints reshape visual representations into geometry consistent with the tactile manifold, reducing the complexity of cross-modal mapping. Extending this alignment framework to cross-domain observations of human hands enables tactile prediction and reflexive responses to observed human touch. Our results link a neural principle of visuo-tactile resonance to robotic perception, providing an explainable route towards anticipatory touch and empathic human-robot interaction. Code is available at https://github.com/fun0515/Mirror-Touch-Net.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI