日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2506.12239

ViTaSCOPE: 視触覚の暗黙表現による把持物体姿勢と外部接触位置の推定

ViTaSCOPE: Visuo-tactile Implicit Representation for In-hand Pose and Extrinsic Contact Estimation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と高解像度触覚を融合し、物体をSDF、触覚をニューラルせん断場として表現することで、把持中の物体姿勢と外部接触位置を同時に推定する手法を提案。シミュレーションで学習し実機へゼロショット転移できる。

詳しい要約

1. どんなもの?

- 手先での器用な物体操作のため、in-hand object pose と extrinsic contact location を同時推定する手法 - ViTaSCOPE: Visuo-Tactile Simultaneous Contact and Object Pose Estimation - 物体を signed distance fields、tactile feedback を neural shear fields として表す object-centric neural implicit representation - vision と高解像度 tactile feedback を融合し、extrinsic contact を物体3D形状上の contact fields として登録 - 部分的・ノイズを含む観測下での推定を狙う

2. 先行研究と比べてどこがすごい?

- 要旨からは不明(先行研究との具体的比較は記述されていない) - 特徴として vision と高解像度 tactile feedback の融合を掲げる - 物体形状を signed distance fields、触覚を neural shear fields で表す統合的表現 - simulation によるスケーラブルな学習と real-world への zero-shot transfer を狙う点を主張

3. 技術・手法の肝は?

- 物体を signed distance fields として表現 - 分散した tactile feedback を neural shear fields として表現 - 視覚と触覚の相補的 cue を統合して推論 - extrinsic contact を物体3D geometry 上の contact fields として登録 - simulation でスケーラブルに学習し、sim-to-real gap を橋渡しして実機へ zero-shot transfer

4. どうやって有効だと検証した?

- 包括的な simulated experiments と real-world experiments を実施 - dexterous manipulation scenarios における能力を示すと報告 - 具体的な評価指標・比較対象・データセットは要旨からは不明

5. 議論はある?

- 部分的・ノイズを含む観測が課題であると述べる - simulation 学習から real-world への zero-shot transfer と sim-to-real gap の橋渡しに言及 - 限界・失敗事例・定量的な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明記されていない - 関連手法として neural implicit representation、signed distance fields、sim-to-real transfer、visuo-tactile fusion、dexterous manipulation の定番研究を挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jayjun Lee, Nima Fazeli

分類: cs.RO, cs.CV

原文アブストラクト

Mastering dexterous, contact-rich object manipulation demands precise estimation of both in-hand object poses and external contact locations$\unicode{x2013}$tasks particularly challenging due to partial and noisy observations. We present ViTaSCOPE: Visuo-Tactile Simultaneous Contact and Object Pose Estimation, an object-centric neural implicit representation that fuses vision and high-resolution tactile feedback. By representing objects as signed distance fields and distributed tactile feedback as neural shear fields, ViTaSCOPE accurately localizes objects and registers extrinsic contacts onto their 3D geometry as contact fields. Our method enables seamless reasoning over complementary visuo-tactile cues by leveraging simulation for scalable training and zero-shot transfers to the real-world by bridging the sim-to-real gap. We evaluate our method through comprehensive simulated and real-world experiments, demonstrating its capabilities in dexterous manipulation scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI