日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.31909

CoDex: デモなしで学ぶ構成的手先機能操作

CoDex: Learning Compositional Dexterous Functional Manipulation without Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルと強化学習を組み合わせ、デモなしでスプレーボトルやグルーガンなどの内部機構を持つ物体を操作する戦略を自律的に発見するフレームワークを提案。

詳しい要約

1. どんなもの?

- 本研究はCompositional Dexterous Functional Object Manipulation (CD-FOM)を扱う。 - 例: 植物へのspray bottleの噴射、木材へのglue gunの接着。 - 物体の内部機構の作動と、環境に機能を適用するためのpose制御の両方が必要。 - 課題: 物体の機能・作動モード・適用領域のsemantic理解と、grasp安定性・軌道・作動を扱う物理的dexterityの統合。 - CoDexを提案: デモンストレーションなしでCD-FOM戦略を自律的に発見するzero-demonstration framework。

2. 先行研究と比べてどこがすごい?

- 従来のdexterous manipulationはデモンストレーションやタスク特化の設計に依存しがち。 - CoDexはzero-demonstrationで、未見の内部機構付き物体と未見の対象物に汎化。 - VLMによるsemantic制約と、解析的制約最適化+RLの組み合わせで、sim-to-real可能なgrasp-move-actuate方策を生成。 - 6つのCD-FOMタスクで、spray bottle, hot glue gun, air duster, flashlight, pepper grinderなどを対象に自律発見・実行を実証。

3. 技術・手法の肝は?

- VLMを用いてタスクとシーンのsemantic制約を推論。 - その制約が解析的制約最適化を導き、機能的なgrasp候補を少数生成。 - 候補をreinforcement learningで効率的に洗練し、完全なgrasp-move-actuate方策を生成。 - 方策はsimulationからreal worldへ転移可能。 - 7-DoFロボットアームと16-DoF多指ハンドで評価。

4. どうやって有効だと検証した?

- 7-DoFロボットアームと16-DoF多指ハンドを使用。 - 6つのCD-FOMタスクで評価。 - 内部機構を持つ未見物体: spray bottles, hot glue guns, air dusters, flashlights, pepper grinders。 - 未見の対象物への適用を含む。 - 人間のデモンストレーションなしで、複雑で物理的に実行可能なdexterous behaviorを自律的に発見・実行できることを示した。

5. 議論はある?

- 要旨からは、限界や失敗事例、計算コスト、VLMの誤りへの対処、一般化範囲についての議論は明示されていない。 - 評価は6タスク・特定のハードウェア構成に限定されており、より広い物体・タスクへの汎化は要旨からは不明。 - sim-to-real転移の詳細な成功率やロバスト性の定量結果は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、vision-language models (VLMs)、analytic constrained optimization、reinforcement learning、sim-to-real transfer、dexterous manipulation、functional object manipulation、multi-fingered hand controlが挙げられる。 - 同分野の定番として、demonstration-based dexterous manipulationやsim-to-real RL for manipulationを次に読む候補として一般名で挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bowen Jiang, William Painter Reger, Roberto Martin-Martin

分類: cs.RO

原文アブストラクト

In this work, we study Compositional Dexterous Functional Object Manipulation (CD-FOM): tasks such as aiming and actuating a spray bottle on a plant or a glue gun on wood, which require both actuating an object's internal mechanism and controlling its pose to apply the object's function to the environment. These tasks pose significant challenges for robots due to the demanding integration of semantic understanding of the object's function, actuation mode, and application area with intricate physical dexterity to manage grasp stability, movement trajectory, and actuation. We introduce CoDex, a zero-demonstration framework that autonomously discovers CD-FOM manipulation strategies. CoDex uses vision-language models (VLMs) to infer semantic constraints from the task and scene. These constraints guide analytic constrained optimization to generate a short list of functional grasp candidates that can be efficiently refined with reinforcement learning to generate full grasp-move-actuate policies transferable from simulation to the real world. We evaluate CoDex on a 7-DoF robot arm with a 16-DoF multi-fingered hand across six CD-FOM tasks involving previously unseen objects with internal mechanisms, including spray bottles, hot glue guns, air dusters, flashlights, and pepper grinders, and their application to unseen target objects, showcasing its ability to autonomously discover and execute complex, physically viable dexterous behaviors without human demonstrations. More information at https://robin-lab.cs.utexas.edu/CoDex/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI