日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2604.02108

視覚と触覚のクロスモーダル物体知覚

Cross-Modal Visuo-Tactile Object Perception

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作における物体の物理特性推定を改善するため、視覚と触覚の情報をベイズ推論で統合するクロスモーダル潜在フィルタを提案した。実機実験で不確実性下での推定効率と頑健性が向上することを示した。

詳しい要約

1. どんなもの?

視覚と触覚の相補情報を統合し、物体の物理特性(geometry, pose, inertia, stiffness, contact dynamics など)を推定する枠組み。 - 提案手法は Cross-Modal Latent Filter (CMLF)。 - 物理特性の因果的潜在状態空間を学習。 - 視覚と触覚間で双方向の cross-modal prior を転移。 - Bayesian inference で時間発展する信念を統合。 - 実ロボット実験で不確実性下の推定効率・頑健性を検証。

2. 先行研究と比べてどこがすごい?

既存の visuo-tactile perception は forceful sensor fusion や static cross-modal alignment が中心。 - 物体特性の不確実性や信念が時間とともにどう変化するかの考慮が限定的。 - CMLF は時間発展する Bayesian inference と双方向 prior 転移を導入。 - 不確実性下での推定効率と頑健性を改善。 - 人間の cross-modal illusion や cross-sensory association 学習に類似の知覚結合現象も示す。

3. 技術・手法の肝は?

Cross-Modal Latent Filter (CMLF) を提案。 - 物理物体特性の structured, causal latent state-space を学習。 - 視覚と触覚の間で cross-modal prior を双方向転移。 - 感覚証拠を時間発展する Bayesian inference で統合。 - 人間の multi-sensory perception と active inference に着想。 - 接触リッチな操作での stick-slip 等の contact dynamics も対象。

4. どうやって有効だと検証した?

実世界のロボット実験で検証。 - 不確実性下での潜在物理特性推定の効率と頑健性を baseline と比較。 - CMLF が baseline より改善することを示す。 - 人間に見られる cross-modal illusion への感受性や cross-sensory association 学習の軌跡に類似の知覚結合現象を確認。 - 詳細な評価指標やタスクは要旨からは不明。

5. 議論はある?

視覚と触覚の統合による物理特性推定の難しさ(非剛体変形と非線形接触摩擦の結合など)を指摘。 - 既存手法の forceful fusion や static alignment の限界を議論。 - 不確実性と信念の時間発展の重要性を主張。 - 人間の multi-sensory perception との類似性(cross-modal illusion など)に言及。 - 限界や今後の課題の詳細は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。 - 関連手法として visuo-tactile perception の sensor fusion、cross-modal alignment、active inference、Bayesian filtering が挙げられる。 - 同分野の定番として vision-based tactile sensing(例: GelSight 系)や multi-sensory integration の研究が次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anirvan Dutta, Simone Tasciotti, Claudia Cusseddu, Ang Li, Panayiota Poirazi, Julijana Gjorgjieva, Etienne Burdet, Patrick van der Smagt, Mohsen Kaboli

分類: cs.RO, cs.LG

原文アブストラクト

Estimating physical properties is critical for safe and efficient autonomous robotic manipulation, particularly during contact-rich interactions. In such settings, vision and tactile sensing provide complementary information about object geometry, pose, inertia, stiffness, and contact dynamics, such as stick-slip behavior. However, these properties are only indirectly observable and cannot always be modeled precisely (e.g., deformation in non-rigid objects coupled with nonlinear contact friction), making the estimation problem inherently complex and requiring sustained exploitation of visuo-tactile sensory information during action. Existing visuo-tactile perception frameworks have primarily emphasized forceful sensor fusion or static cross-modal alignment, with limited consideration of how uncertainty and beliefs about object properties evolve over time. Inspired by human multi-sensory perception and active inference, we propose the Cross-Modal Latent Filter (CMLF) to learn a structured, causal latent state-space of physical object properties. CMLF supports bidirectional transfer of cross-modal priors between vision and touch and integrates sensory evidence through a Bayesian inference process that evolves over time. Real-world robotic experiments demonstrate that CMLF improves the efficiency and robustness of latent physical properties estimation under uncertainty compared to baseline approaches. Beyond performance gains, the model exhibits perceptual coupling phenomena analogous to those observed in humans, including susceptibility to cross-modal illusions and similar trajectories in learning cross-sensory associations. Together, these results constitutes a significant step toward generalizable, robust and physically consistent cross-modal integration for robotic multi-sensory perception.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI