日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.20841

ImaginationPolicy:汎化可能で高精度かつ信頼性の高いロボットマニピュレーションのためのエンドツーエンド方策

ImaginationPolicy: Towards Generalizable, Precise and Reliable End-to-End Policy for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のための新しい行動表現「Chain of Moving Oriented Keypoints (CoMOK)」を提案し、エンドツーエンドで学習可能な汎化・高精度・信頼性の高い操作方策を実現した。

詳しい要約

1. どんなもの?

- ロボット操作のための end-to-end policy 研究。 - 汎化性・精度・信頼性を備えた end-to-end manipulation policy を目指す。 - 新規な Chain of Moving Oriented Keypoints (CoMOK) という action representation を提案。 - この表現を neural policy の action representation として用い、end-to-end で学習する。 - シミュレーションとハードウェア実験で有効性を示す。

2. 先行研究と比べてどこがすごい?

- 従来の modular pipeline はモジュール間の情報損失や、個別最適化に起因する feature misalignment が問題。 - 既存の end-to-end 手法(large VLM/VLA ベース含む)は大規模実用展開には性能不十分。 - 提案法は標準的な end-effector pose action representation を拡張し、多様なタスクを統一的に扱える。 - oriented keypoint により形状・サイズの異なる物体へ自然に汎化し、sub-centimeter 精度を達成。 - multi-stage タスク、multi-modal なロボット挙動、deformable objects も扱いやすい。

3. 技術・手法の肝は?

- Chain of Moving Oriented Keypoints (CoMOK) を action representation として定義。 - これを neural policy の出力表現に採用し、end-to-end 学習を行う。 - oriented keypoint を用いることで物体の形状・サイズ差への汎化を狙う。 - 標準の end-effector pose 表現を拡張する一般性を持つ定式化。 - multi-stage タスクや multi-modal 挙動、deformable objects への対応を可能にする枠組み。

4. どうやって有効だと検証した?

- 大規模な simulated experiments を実施。 - hardware experiments も実施。 - 両実験により提案手法の有効性を実証したと述べる。 - 具体的なタスク設定・比較手法・指標は要旨からは不明。

5. 議論はある?

- 既存 end-to-end 手法の性能不足を出発点に、汎化性・精度・信頼性の向上を主張。 - sub-centimeter 精度や多様なタスクへの統一対応を利点として挙げる。 - 限界・失敗事例・計算コスト・実機での詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- large VLM/VLA ベースの end-to-end manipulation policy 関連研究。 - 標準的な end-effector pose action representation を用いる従来 policy 研究。 - modular pipeline 型の manipulation 研究。 - oriented keypoint / keypoint-based manipulation 関連手法。 - deformable object manipulation および multi-stage・multi-modal manipulation の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dekun Lu, Wei Gao, Kui Jia

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

End-to-end robot manipulation policies offer significant potential for enabling embodied agents to understand and interact with the world. Unlike traditional modular pipelines, end-to-end learning mitigates key limitations such as information loss between modules and feature misalignment caused by isolated optimization targets. Despite these advantages, existing end-to-end neural networks for robotic manipulation--including those based on large VLM/VLA models--remain insufficiently performant for large-scale practical deployment. In this paper, we take a step towards an end-to-end manipulation policy that is generalizable, accurate and reliable. To achieve this goal, we propose a novel Chain of Moving Oriented Keypoints (CoMOK) formulation for robotic manipulation. Our formulation is used as the action representation of a neural policy, which can be trained in an end-to-end fashion. Such an action representation is general, as it extends the standard end-effector pose action representation and supports a diverse set of manipulation tasks in a unified manner. The oriented keypoint in our method enables natural generalization to objects with different shapes and sizes, while achieving sub-centimeter accuracy. Moreover, our formulation can easily handle multi-stage tasks, multi-modal robot behaviors, and deformable objects. Extensive simulated and hardware experiments demonstrate the effectiveness of our method.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI