マニピュレーション2025/9/1arXiv:2509.18282

PEEK: ロボットマニピュレーションポリシーのゼロショット汎化のための誘導と最小画像表現

PEEK: Guiding and Minimal Image Representations for Zero-Shot Generalization of Robot Manipulation Policies

VLMを使ってエンドエフェクタ経路とタスク関連マスクを予測し、ポリシーに必要な最小限の手がかりを与えることで、シミュレーションのみで訓練したポリシーの実世界ゼロショット汎化を大幅に向上させる手法を提案。

詳しい要約

1. どんなもの？

- ロボット操作 policy の zero-shot 汎化を改善する枠組み PEEK を提案 - 正式名は Policy-agnostic Extraction of Essential Keypoints - VLM を fine-tune し、点ベースの統一中間表現を予測させる - 中間表現は2種類 - end-effector paths: 何の行動を取るかを示す - task-relevant masks: どこに注目するかを示す - 表現はロボット観測に直接 overlay され、policy-agnostic で architecture 間を転移可能 - 大規模学習用に自動アノテーション pipeline を導入 - 20+ の robot datasets、9 embodiments にまたがるラベル付きデータを生成 - 実世界評価で zero-shot 汎化を一貫して向上 - simulation のみで学習した 3D policy で実世界 41.4x 改善 - 大規模 VLA と小規模 manipulation policy の双方で…

2. 先行研究と比べてどこがすごい？

- 従来の manipulation policy は「どこに注目するか」「何の行動を取るか」「どう実行するか」を同時に学習する必要があり、汎化が困難だった - PEEK は高次の推論(where と what)を VLM にオフロードし、policy は how to act に特化させる点が新しい - 中間表現を policy-agnostic かつ architecture 間で転移可能な形にした点が特徴 - 注釈をロボット観測に直接 overlay する設計 - 20+ datasets・9 embodiments にまたがる自動アノテーション pipeline によりスケーラブルな学習データを生成 - 大規模 VLA だけでなく小規模 manipulation policy にも利得があることを示した点 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は？

- VLM を fine-tune し、点ベースの統一中間表現を予測 - end-effector paths(what actions) - task-relevant masks(where to focus) - これらの注釈をロボット観測に直接 overlay し、policy-agnostic な表現とする - 自動アノテーション pipeline を導入 - 20+ robot datasets、9 embodiments からラベル付きデータを生成しスケーラブルに学習 - policy 側は VLM が抽出した最小限の手がかり(where, what)を受け取り how に専念 - 具体的な VLM 名・architecture 詳細・学習損失は要旨からは不明

4. どうやって有効だと検証した？

- 実世界評価で zero-shot 汎化を検証 - simulation のみで学習した 3D policy が実世界で 41.4x 改善 - 大規模 VLA と小規模 manipulation policy の双方で 2-3.5x の利得 - 20+ robot datasets、9 embodiments を用いた学習データ生成を実施 - 詳細な評価タスク・ベースライン・指標は要旨からは不明

5. 議論はある？

- VLM に意味的・視覚的複雑さを吸収させ、policy には最小限の手がかりのみを与える設計思想を主張 - policy-agnostic な表現により architecture 間の転移が可能と述べる - 限界・失敗事例・計算コスト・VLM 依存性などの議論は要旨からは不明 - 自動アノテーションの品質や誤り伝播に関する議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究名は明示されていない - 関連手法として以下が候補 - VLM を fine-tune して中間表現を予測する手法(具体名は要旨からは不明) - 大規模 VLA(Vision-Language-Action)モデル - 3D policy - 小規模 manipulation policy - end-effector path や task-relevant mask を用いる点ベース表現 - 同分野の定番として behavior cloning 系 manipulation policy や keypoint-based 表現の論文を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jesse Zhang, Marius Memmel, Kevin Kim, Dieter Fox, Jesse Thomason, Fabio Ramos, Erdem Bıyık, Abhishek Gupta, Anqi Li

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Robotic manipulation policies often fail to generalize because they must simultaneously learn where to attend, what actions to take, and how to execute them. We argue that high-level reasoning about where and what can be offloaded to vision-language models (VLMs), leaving policies to specialize in how to act. We present PEEK (Policy-agnostic Extraction of Essential Keypoints), which fine-tunes VLMs to predict a unified point-based intermediate representation: 1. end-effector paths specifying what actions to take, and 2. task-relevant masks indicating where to focus. These annotations are directly overlaid onto robot observations, making the representation policy-agnostic and transferable across architectures. To enable scalable training, we introduce an automatic annotation pipeline, generating labeled data across 20+ robot datasets spanning 9 embodiments. In real-world evaluations, PEEK consistently boosts zero-shot generalization, including a 41.4x real-world improvement for a 3D policy trained only in simulation, and 2-3.5x gains for both large VLAs and small manipulation policies. By letting VLMs absorb semantic and visual complexity, PEEK equips manipulation policies with the minimal cues they need--where, what, and how. Website at https://peek-robot.github.io/.

arXivで原文を読む →arXiv概要ページ

PEEK: ロボットマニピュレーションポリシーのゼロショット汎化のための誘導と最小画像表現

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell