日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.16586

ProxiDex: 動力学誘導近接ポリシーによる巧みなマニピュレーションの学習

ProxiDex: Learning Dynamics-Guided Proximity Policy for Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

手と物体の近接状態を相互作用表現として用い、行動条件付き近接ダイナミクスを学習することで、視覚遮蔽や接触不確実性に頑健な多指巧み操作ポリシーを実現した。

詳しい要約

1. どんなもの?

- 多指dexterous manipulationのための枠組み - 手と物体のproximityをinteraction stateとして扱う - dynamics-guided proximity policyを学習 - 接触の不確実性に対処する - VR teleoperationにも応用

2. 先行研究と比べてどこがすごい?

- 視覚はhandでocclusionされやすい - tactileはhardware固有でcalibration負担が大きい - 既存policyはcueのaction下での変化をモデル化しない - ProxiDexはhardware-agnosticなcontact表現を提供 - 不確実な視覚feedback下でも安定

3. 技術・手法の肝は?

- interaction point cloudsを再構成 - 幾何距離をproximity cuesに変換 - action-conditioned proximity dynamicsを学習 - coupled forward-inverse designを採用 - 未来observation latentsをactionから予測 - latent変化からproximity変化をdecode - proximity tokensを位相ごとに再重み付け - dynamics-consistency supervisionでpolicy推論を誘導

4. どうやって有効だと検証した?

- simulationとreal-world experimentsを実施 - standard, unseen objects, perturbation scenariosで評価 - 代表的なbaselinesと比較 - 成功率とrobustnessの改善を確認 - 追加visualizationをWebで公開

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番としてdexterous manipulation, tactile sensing, VR teleoperation, dynamics learningの関連研究が候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yushan Bai, Boyu Zheng, Zhiyang Mao, Hongzheng Sun, Yuchuang Tong, En Li, Zhengtao Zhang

分類: cs.RO, cs.AI

原文アブストラクト

Multi-finger dexterous manipulation relies on stable hand-object interactions, yet these interactions are partially observable in practice. Visual observations are often occluded by the hand, tactile sensors introduce hardware-specific modalities and calibration burdens, and existing policies rarely model how these cues evolve under actions, making them brittle under contact uncertainty. To address these, we present ProxiDex, a dynamics-guided proximity policy framework that treats hand-object proximity as an interaction state for dexterous manipulation. ProxiDex reconstructs interaction point clouds and converts geometric distances into proximity cues, forming a hardware-agnostic contact representation that provides immersive feedback during VR teleoperation. Built on this representation, ProxiDex learns action-conditioned proximity dynamics with a coupled forward-inverse design: future observation latents are predicted from actions, while proximity variations are decoded from latent changes. Leveraging these dynamics, ProxiDex adaptively reweights proximity tokens across manipulation phases and uses dynamics-consistency supervision to guide policy inference, stabilizing action generation under unreliable visual feedback. Simulation and real-world experiments demonstrate improved success rates and robustness over representative baselines across standard, unseen objects, and perturbation scenarios. Additional visualizations are available at https://proxidex.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI