知覚/操作2026/6/6arXiv:2606.08103

ロボット操作における関節部品知覚の再考

Revisiting Articulated Parts Perception in Robot Manipulation

関節部品の幾何学的構造を抽象化した「GPS」表現を提案し、VRデバイスで1分間の注釈で高品質なデータを収集、単一RGB-D画像から汎用的なGPSモデルを学習して操作に応用した。

詳しい要約

1. どんなもの？

- 可動な articulated parts（box, handle, door など）の知覚を再検討する研究。 - 新表現 Geometric Primary Structure (GPS) を提案。 - 部品幾何構造の抽象化で scalability と quality のバランスを狙う。 - VR で1分/系列の注釈、41K frames・234 objects・6 part classes を収集。 - 単一 RGB-D 画像から GPS を予測する汎用モデルを学習。 - GPS 予測に基づく heuristic policy で操作を実行。

2. 先行研究と比べてどこがすごい？

- 先行は pose-based と affordance-based の二方向。 - pose-based は高 manual cost が課題。 - affordance-based は point tracking で future object motion を抽出し manual 不要だが低品質データ。 - GPS は両者のバランスを取る新表現。 - VR 注釈で affordance 推定より高品質、かつ1分/系列で効率的。 - 単一 RGB-D 入力で汎用モデルを学習可能。

3. 技術・手法の肝は？

- articulated parts を Geometric Primary Structure (GPS) として抽象化。 - 可搬 VR デバイスと統合し、人間が直接注釈。 - 1 object sequence あたり約1分で注釈可能。 - 単一 RGB-D object image を入力に GPS を予測するモデルを学習。 - 操作には GPS 予測に基づく heuristic policy を採用。 - in-domain fine-tuning なしで適用。

4. どうやって有効だと検証した？

- VR-GPS system で 41K frames、234 objects、6 part classes を収集。 - 単一 RGB-D 画像入力の汎用 GPS モデルを学習。 - 9 objects、270 initial states で操作を評価。 - in-domain fine-tuning なしで 73% success rate を達成。 - code, data, reusable tool を公開。

5. 議論はある？

- GPS は scalability と quality のバランスを取る表現。 - VR 注釈は affordance 推定より高品質。 - 1分/系列の注釈で効率的・スケーラブル。 - 単一 RGB-D 画像から汎用モデルを学習可能。 - 限界や失敗要因、一般化範囲の詳細は要旨からは不明。

6. 次に読むべき論文は？

- pose-based articulated parts perception の研究。 - affordance-based で point tracking を用いる研究。 - 関連手法として point tracking、affordance learning、articulated object manipulation。 - 要旨で特定の論文名は参照されていないため、同分野の定番を一般名で挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoqian Wu, Yejie Guo, Xiaoyang Chen, Lixin Yang, Cewu Lu, Yong-Lu Li

分類: cs.RO, cs.CV

原文アブストラクト

We are surrounded by various objects with movable, articulated parts, e.g., box, handle, door. An accurate and generalizable perception of articulated parts is essential to enhance robotic manipulation capabilities. Building on this need, recent efforts in articulated parts perception have followed two main directions: One line of work uses pose-based representation, which requires high manual cost; in parallel, affordance-based methods extract future object motion from point tracking without additional manual efforts, but suffer from low-quality data. In this paper, we propose a new representation of articulated parts, Geometric Primary Structure (GPS), an abstraction of the part geometry structure to balance scalability and quality. For efficient and scalable data collection, GPS is integrated with a portable Virtual Reality (VR) device and requires only one minute to annotate one object sequence. This direct human annotation provides higher quality than the estimated affordance. With this efficient VR-GPS system, we collect 41K frames for 234 objects across six part classes, and train a generalizable GPS model with a single RGB-D object image as input. For object manipulation, we deploy a heuristic policy based on GPS prediction. Without any in-domain fine-tuning, our method achieves an 73% success rate, covering 270 initial states for 9 objects. Our code, data and reusable tool are available at https://enlighten0707.github.io/gps.

arXivで原文を読む →arXiv概要ページ

← 論文一覧