日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.23575

言語整合3Dキーポイントによる汎化可能な粗から細へのロボットマニピュレーション

Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints

シェア:XThreadsFacebookLINEはてブBluesky

言語指示と3Dキーポイントを組み合わせた粗から細への階層的マニピュレーションポリシーを提案し、少ないデモで新規指示や環境変化への汎化を実現した。

詳しい要約

1. どんなもの?

- ロボットの3Dマニピュレーション向けの階層型coarse-to-fineポリシー「CLAP(Coarse-to-fine Language-Aligned manipulation Policy)」を提案する研究。 - coarse branchが関心領域を予測し、fine-grained action predictorを導く階層構造。 - 新規instructionや環境変化へのgeneralization向上を狙う。 - 構成要素は、task decomposition、VLM fine-tuningによる3D keypoint prediction、3D-aware representationの3つ。

2. 先行研究と比べてどこがすごい?

- 従来の階層型coarse-to-fineポリシーは、pre-trained modelsを組み合わせてもgeneralization issuesを抱えていた。 - CLAPはlanguage-alignedな3D keypointと3D-aware representationを統合することで、新規instruction・環境変動への汎化を改善。 - GemBenchでSOTA比平均成功率+12%、訓練trajectoryは1/5で達成。 - 実機では10 demonstrationsのみの訓練で新規instruction・環境へ汎化。

3. 技術・手法の肝は?

- 全体はcoarse-to-fineの階層型ポリシー。 - 中核1:task decompositionによりタスクを分解。 - 中核2:VLM fine-tuningにより3D keypointを予測(language-aligned 3D keypoints)。 - 中核3:3D-aware representationを導入し、言語と3D空間の対応を強化。 - coarse branchが関心領域を出し、fine-grained action predictorが精密動作を生成。

4. どうやって有効だと検証した?

- simulationとreal robotの両方でcomprehensive experimentsを実施。 - generalization評価用benchmark「GemBench」で、SOTA比平均成功率+12%、訓練trajectoryは1/5。 - 実機実験では10 demonstrationsのみで訓練し、新規instruction・環境への汎化を確認。 - 詳細な実験設定・指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明(limitationsやfailure casesの議論は記述なし)。 - 示唆される点として、training data効率とgeneralizationの両立が主張されている。 - task decompositionやVLM fine-tuningの各要素の寄与度に関するablationは要旨からは不明。

6. 次に読むべき論文は?

- GemBench(generalization評価benchmark) - 比較対象のSOTA hierarchical coarse-to-fine manipulation policy(具体的名称は要旨からは不明) - VLM fine-tuningを用いたrobot manipulation関連手法 - 3D keypoint-based manipulation / 3D-aware representation関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianshu Hu, Lidi Wang, Shujia Li, Yunpeng Jiang, Xiao Li, Paul Weng, Yutong Ban

分類: cs.RO

原文アブストラクト

Hierarchical coarse-to-fine policy, where a coarse branch predicts a region of interest to guide a fine-grained action predictor, has demonstrated significant potential in robotic 3D manipulation tasks by especially enhancing sample efficiency and enabling more precise manipulation. However, even augmented with pre-trained models, these hierarchical policies still suffer from generalization issues. To enhance generalization to novel instructions and environment variations, we propose Coarse-to-fine Language-Aligned manipulation Policy (CLAP), a framework that integrates three key components: 1) task decomposition, 2) VLM fine-tuning for 3D keypoint prediction, and 3) 3D-aware representation. Through comprehensive experiments in simulation and on a real robot, we demonstrate its superior generalization capability. Specifically, on GemBench, a benchmark designed for evaluating generalization, our approach achieves a 12\% higher average success rate than the SOTA method while using only 1/5 of the training trajectories. In real-world experiments, our policy, trained on only 10 demonstrations, successfully generalizes to novel instructions and environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI