日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.39017

OccluDex: 自己遮蔽下での一人称視点巧みな操作のための階層的3D視触覚表現学習

OccluDex: Hierarchical 3D Visuo-Tactile Representation Learning for Egocentric Dexterous Manipulation under Self-Occlusion

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点で手が物体を隠してしまう自己遮蔽に対処するため、部分的3D形状と触覚情報を階層的に統合する視触覚表現学習フレームワークを提案し、蛇口回しや物体の向き変更タスクで従来手法を上回る精度を達成した。

詳しい要約

1. どんなもの?

- 自己遮蔽下での器用な操作のための階層的3D視触覚表現学習フレームワークOccluDexを提案。 - グローバルな幾何構造とローカルな接触情報を統合し、動的な自己遮蔽下でのロバストな操作を実現。 - 多スケールマスク付きオートエンコーディングで部分的な3D幾何を段階的にエンコードし、触覚接触トークンと高レベル幾何特徴をクロスモーダルアテンションで融合。 - 同期された人間の視触覚デモンストレーションから事前学習し、下流の強化学習のための凍結知覚バックボーンとして転移。 - 蛇口回転タスクと卓上物体再配向タスクで評価。

2. 先行研究と比べてどこがすごい?

- シミュレーション実験で、未見物体に対して12.6%高い精度、既見物体に対して8.3%高い精度を最強の最先端ベースラインモデルより達成。 - 物理実験でShadow Handを用い、未見の物理物体に対するゼロショットsim-to-real汎化に成功。 - 自己遮蔽下での操作において、視覚のみの手法や従来の視触覚融合手法よりも優れた性能を示す。

3. 技術・手法の肝は?

- 多スケールマスク付きオートエンコーディングにより、部分的な3D幾何を段階的にエンコード。 - 触覚接触トークンと高レベル幾何特徴をクロスモーダルアテンションで融合。 - エンコーダは同期された人間の視触覚デモンストレーションから事前学習され、下流の強化学習のための凍結知覚バックボーンとして転移。 - 階層的表現学習により、グローバルな幾何構造とローカルな接触情報を統合。

4. どうやって有効だと検証した?

- シミュレーションで蛇口回転タスク(ハンドルを時計回りに1回転)と卓上物体再配向タスク(倒さずに180度再配向)を実施。 - 未見物体で12.6%、既見物体で8.3%の精度向上を最先端ベースラインと比較して確認。 - 物理実験でShadow Handを用い、未見の物理物体に対するゼロショットsim-to-real汎化を実証。

5. 議論はある?

- 自己遮蔽下での操作において、視触覚融合が有効であることを示唆。 - 人間の視触覚デモンストレーションからの事前学習が下流タスクに転移可能であることを実証。 - 限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、masked autoencoding、cross-modal attention、visuo-tactile representation learning、sim-to-real transfer、dexterous manipulation under occlusion などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziheng Xu, Yueyuan Chen, Xinyuan He, Guoxing Liu, Yuanshuo Tan, Huiming Pan, Bin He, Shuo Jiang, Peter B. Shull

分類: cs.RO

原文アブストラクト

Reliable dexterous manipulation requires continuous estimation of object geometry and hand-object contact throughout interaction. With egocentric sensing, however, the manipulating hand frequently occludes task-relevant object surfaces and contact regions, reducing the visual evidence available for state estimation and thereby making robust closed-loop control and generalization to unseen object geometries particularly challenging. To address this, we present OccluDex, a hierarchical 3D visuo-tactile representation learning framework that integrates global geometric structure with local contact information for robust manipulation under dynamic self-occlusion during hand-object interaction. OccluDex adopts multi-scale masked autoencoding to progressively encode partial 3D geometry and fuses tactile contact tokens with high-level geometric features through cross-modal attention. The encoder is pretrained from synchronized human visuo-tactile demonstrations and transferred as a frozen perceptual backbone for downstream reinforcement learning. We evaluate OccluDex on a faucet rotation task, requiring one full clockwise handle revolution, and a tabletop object reorientation task, requiring a 180-degree tabletop object reorientation without toppling. In simulation experiments, OccluDex demonstrated 12.6% higher accuracy for unseen objects and 8.3% higher accuracy for previously seen objects than the strongest state-of-the-art baseline models. Physical experiments were further performed with a Shadow Hand to demonstrate successful zero-shot sim-to-real generalization on unseen physical objects. This results could enable humanoid egocentric object manipulation for seen and unseen objects even when the manipulating robotic hand occludes vision.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI