マニピュレーション2026/6/8arXiv:2606.10025

GHOST: ロボット操作の汎化を実現する階層的サブゴールポリシー

GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation

多視点RGB-D観測から3Dエンドエフェクタのポーズを予測する高レベルポリシーと、その目標を達成する低レベルコントローラを組み合わせた階層的枠組みを提案し、操作タスクの汎化性能を向上させた。

詳しい要約

1. どんなもの？

- 視覚運動マニピュレーション政策の汎化フレームワークGHOSTを提案。 - 制御を高レベル政策と低レベル制御器に階層分解。 - 高レベルは多視点RGB-Dから次のサブゴールを3Dエンドエフェクタ姿勢分布として予測。 - 低レベルは目標条件付きで身体固有の行動を実行。 - 画像ベース政策を3D目標で条件付ける空間インタフェースを導入。

2. 先行研究と比べてどこがすごい？

- 平坦なDiffusion Policyと比較し、階層分解が性能と頑健性を一貫して改善。 - 人間実演をノイズの多いaction retargetingなしで組み込める。 - サブゴールが身体非依存なため、高レベルを人間動画で訓練可能。 - 低レベルはロボットデータのみで訓練。 - 少数の人間実演で新規物体・タスク変種に適応。

3. 技術・手法の肝は？

- 高レベル政策：多視点RGB-D観測から3Dエンドエフェクタ姿勢分布として次サブゴールを予測。 - 低レベル制御器：目標条件付きで身体固有行動を実行。 - 空間インタフェース：予測目標を画像平面に投影しエンドエフェクタヒートマップとして表現。 - 階層分解により身体非依存のサブゴールを活用。 - 人間動画で高レベルを訓練し、スキルの適用・構成を指定。

4. どうやって有効だと検証した？

- 一連のマニピュレーションタスクで評価。 - 平坦なDiffusion Policyと比較し、性能と頑健性の改善を確認。 - 人間実演の組み込みが容易であることを示す。 - 少数の人間実演で新規物体・タスク変種への適応を実証。 - 具体的なタスク名や評価指標は要旨からは不明。

5. 議論はある？

- 階層分解の有効性と人間実演活用の利点を主張。 - 身体非依存サブゴールにより人間動画から高レベルを学習可能。 - ノイズの多いaction retargetingを回避。 - 限界や失敗事例、計算コスト、スケーラビリティの議論は要旨からは不明。

6. 次に読むべき論文は？

- Diffusion Policy（比較対象として言及） - 階層的模倣学習（Hierarchical Imitation Learning） - 目標条件付き強化学習（Goal-Conditioned RL） - 人間動画からのロボット学習（Learning from Human Videos） - ビジュアルマニピュレーションの汎化（Generalization in Visual Manipulation）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sriram Krishna, Ben Eisner, Haotian Zhan, Ying Yuan, Haoyu Zhen, Chuang Gan, Shubham Tulsiani, David Held

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

We present GHOST, a framework for learning visuomotor manipulation policies that generalize beyond the training distribution. GHOST factorizes control into (i) a high-level policy that predicts the next sub-goal as a distribution over 3D end-effector poses from multi-view RGB-D observations, and (ii) a low-level goal-conditioned controller that executes embodiment-specific actions. To condition image-based policies on 3D goals, we introduce a simple spatial interface that projects predicted goals into the image plane and represents them as end-effector heatmaps. Across a suite of manipulation tasks, this hierarchical factorization consistently improves performance and robustness compared to a flat Diffusion Policy. Further, we show that this hierarchical interface also makes it easy to incorporate human demonstrations without relying on (noisy) action retargeting. As sub-goals are largely embodiment-agnostic, we train the high-level policy on human video to specify how learned skills should be applied and composed, while keeping the low-level policy trained purely on robot data. This hierarchy enables adaptation to novel objects and task variations using a small number of human demonstrations.

arXivで原文を読む →arXiv概要ページ

GHOST: ロボット操作の汎化を実現する階層的サブゴールポリシー

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell