日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2601.04356

UNIC: 統合マルチモーダル外因性接触推定の学習

UNIC: Learning Unified Multimodal Extrinsic Contact Estimation

シェア:XThreadsFacebookLINEはてブBluesky

カメラキャリブレーションや事前知識なしに、視覚・固有感覚・触覚を統合して把持物体と環境の接触を推定するマルチモーダル手法を提案。

詳しい要約

1. どんなもの?

- 把持物体と環境の接触(extrinsic contact)を推定する統合マルチモーダル枠組み UNIC を提案。 - カメラキャリブレーションや事前知識なしで、視覚・固有感覚・触覚をデータ駆動で統合。 - scene affordance maps に基づく統一接触表現を導入。 - 接触位置推定、未見物体、モダリティ欠損、動的視点に頑健。

2. 先行研究と比べてどこがすごい?

- 既存手法は接触タイプや把持構成、カメラキャリブレーションに依存し汎化が困難。 - UNIC は事前知識・キャリブレーション不要で、未見物体や非構造環境に展開可能。 - 多様な接触形態を扱う統一表現と、ランダムマスキングによる頑健なマルチモーダル学習を実現。

3. 技術・手法の肝は?

- 視覚観測をカメラ座標系で直接エンコードし、固有感覚・触覚と統合。 - scene affordance maps による統一接触表現で多様な接触形成を捕捉。 - ランダムマスキング付きマルチモーダル融合機構で頑健な表現学習。 - 完全データ駆動で、キャリブレーションや事前知識を必要としない。

4. どうやって有効だと検証した?

- 未見接触位置で平均 Chamfer distance 誤差 9.6 mm を達成。 - 未見物体でも良好に動作。 - モダリティ欠損時も頑健。 - 動的カメラ視点に適応。 - 概要とハードウェア実験動画を公開。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 同分野の関連手法として、tactile-based contact estimation、vision-based contact estimation、multimodal fusion for manipulation などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhengtong Xu, Yuki Shirai

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Contact-rich manipulation requires reliable estimation of extrinsic contacts-the interactions between a grasped object and its environment which provide essential contextual information for planning, control, and policy learning. However, existing approaches often rely on restrictive assumptions, such as predefined contact types, fixed grasp configurations, or camera calibration, that hinder generalization to novel objects and deployment in unstructured environments. In this paper, we present UNIC, a unified multimodal framework for extrinsic contact estimation that operates without any prior knowledge or camera calibration. UNIC directly encodes visual observations in the camera frame and integrates them with proprioceptive and tactile modalities in a fully data-driven manner. It introduces a unified contact representation based on scene affordance maps that captures diverse contact formations and employs a multimodal fusion mechanism with random masking, enabling robust multimodal representation learning. Extensive experiments demonstrate that UNIC performs reliably. It achieves a 9.6 mm average Chamfer distance error on unseen contact locations, performs well on unseen objects, remains robust under missing modalities, and adapts to dynamic camera viewpoints. These results establish extrinsic contact estimation as a practical and versatile capability for contact-rich manipulation. The overview and hardware experiment videos are at https://youtu.be/xpMitkxN6Ls?si=7Vgj-aZ_P1wtnWZN

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI