日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2506.19212

視覚言語モデルによる巧みな操作の足場構築

Scaffolding Dexterous Manipulation with Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを使ってタスクに関連するキーポイントを特定し、手と物体の粗い3D軌道を生成して、シミュレーションで残差強化学習方策を訓練する手法を提案。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)を用いて器用なロボットハンドの操作を訓練するフレームワーク。 - タスク記述(例:「open the cabinet」)と視覚シーンを入力とする。 - off-the-shelf VLMがタスク関連のkeypoints(例:handles、buttons)を特定し、hand motionとobject motionの3D trajectoriesを合成する。 - これらの粗いtrajectories(scaffolds)を追従するlow-level residual RL policyをシミュレーションで訓練する。 - 人間のデモンストレーションや手作りの報酬関数を必要としない。

2. 先行研究と比べてどこがすごい?

- 従来のdexterous manipulationはRLのためのtask-specific reward関数の設計や、reference trajectoriesの収集がボトルネックであった。 - 既存研究はreference trajectoriesに依存するが、その入手自体が困難であった。 - 本手法はVLMが持つ常識的な空間・意味知識を活用し、明示的なreference trajectoriesを不要にする点が新しい。 - 人間のデモや手作りの報酬なしで実世界のロボットハンドに転移できる点を示す。

3. 技術・手法の肝は?

- off-the-shelf VLMでタスク記述と視覚シーンからタスク関連keypointsを特定する。 - 特定したkeypointsに基づきhand motionとobject motionの3D trajectoriesを合成する。 - 合成された粗いtrajectoriesをscaffoldsとして、シミュレーションでlow-level residual RL policyを訓練し高忠実度で追従させる。 - RLが最終的な動きを洗練するため、reference trajectoriesの精密な詳細は不要という洞察に基づく。

4. どうやって有効だと検証した?

- 関節物体(articulated objects)や意味理解を含む複数のシミュレーションタスクで評価。 - 頑健なdexterous manipulation policiesを学習できることを示した。 - 人間のデモンストレーションや手作りの報酬なしに実世界のロボットハンドへ転移できることを示した。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗ケース、VLMの誤りへの感度、実世界転移の詳細な条件などは記述されていない)。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な研究名は記載なし。 - 関連手法として、reference trajectoriesを用いるdexterous manipulation研究、residual RL、VLMを用いたロボット操作(例:VLM-based keypoint/trajectory生成)が次に読む候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vincent de Bakker, Joey Hejna, Tyler Ga Wei Lum, Onur Celik, Aleksandar Taranovic, Denis Blessing, Gerhard Neumann, Jeannette Bohg, Dorsa Sadigh

分類: cs.RO

原文アブストラクト

Dexterous robotic hands are essential for performing complex manipulation tasks, yet remain difficult to train due to the challenges of demonstration collection and high-dimensional control. While reinforcement learning (RL) can alleviate the data bottleneck by generating experience in simulation, it typically relies on carefully designed, task-specific reward functions, which hinder scalability and generalization. Thus, contemporary works in dexterous manipulation have often bootstrapped from reference trajectories. These trajectories specify target hand poses that guide the exploration of RL policies and object poses that enable dense, task-agnostic rewards. However, sourcing suitable trajectories - particularly for dexterous hands - remains a significant challenge. Yet, the precise details in explicit reference trajectories are often unnecessary, as RL ultimately refines the motion. Our key insight is that modern vision-language models (VLMs) already encode the commonsense spatial and semantic knowledge needed to specify tasks and guide exploration effectively. Given a task description (e.g., "open the cabinet") and a visual scene, our method uses an off-the-shelf VLM to first identify task-relevant keypoints (e.g., handles, buttons) and then synthesize 3D trajectories for hand motion and object motion. Subsequently, we train a low-level residual RL policy in simulation to track these coarse trajectories or "scaffolds" with high fidelity. Across a number of simulated tasks involving articulated objects and semantic understanding, we demonstrate that our method is able to learn robust dexterous manipulation policies. Moreover, we showcase that our method transfers to real-world robotic hands without any human demonstrations or handcrafted rewards.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI