マニピュレーション2026/7/1arXiv:2607.04714

幾何認識モーション潜在表現によるロバストな操作ポリシーの学習

Geometry-Aware Motion Latents for Learning Robust Manipulation Policies

操作中の点群の時間変化を予測することで、外観ではなく物理的な動きを符号化する離散モーション潜在コードを学習し、単視点RGB-D入力で最先端の操作性能を達成した論文。

詳しい要約

1. どんなもの？

GeoMoLa (Geometry-Aware Motion Latents) は、ロボット操作のための離散的な motion latent code を学習する手法。単眼 RGB-D 入力から点群の時間発展（4次元の空間幾何学の変化）を予測することで、外観パターンではなく実際の物理的動作をエンコードする。

2. 先行研究と比べてどこがすごい？

既存手法は視覚シーケンスから動作パターンを抽出するが、しばしば外観に依存し、多視点再構成を必要とする。GeoMoLa は単眼 RGB-D のみで、点群の幾何学的変化を予測するという目的により、物理的動作を直接学習し、多視点を必要とせずに最先端の性能を達成。

3. 技術・手法の肝は？

手法の肝は、視覚観測の再構成ではなく、操作中の点群の進化を予測するという自己教師ありの4次元目標。これにより、潜在表現が外観ではなく実際の物理的動作をエンコードすることを強制する。離散的な motion latent code を学習し、幾何学的予測が性能の鍵となる。

4. どうやって有効だと検証した？

多様な操作ベンチマークで最先端の性能を達成。アブレーション研究により、幾何学的予測が性能向上の鍵であることを定量的に検証。さらに、学習したコードを新しいシーンに適用すると、視覚的文脈に関係なく物理的に一貫した変換を生成。実世界実験でも、幾何学的推論が重要となる乱雑な環境で、最小限のデモンストレーションで堅牢な操作を実現。

5. 議論はある？

要旨からは、幾何学的予測が外観パターンよりも優れている理由や、単眼 RGB-D の限界、実世界でのスケーラビリティなどに関する議論は不明。また、離散コードの表現力や、他の操作タスクへの一般化についての詳細も不明。

6. 次に読むべき論文は？

要旨で参照されている既存手法（multi-view reconstruction を用いる手法）や、関連する motion latent 学習の研究。具体的には、ロボット操作における視覚表現学習や、点群の時間予測を用いた自己教師あり学習の分野の論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunchao Zhang, Yijia Weng, Ruizhe Liu, Ming Hu, Leonidas Guibas, Yanchao Yang

分類: cs.RO, cs.AI

原文アブストラクト

Learning motion latents for robotic manipulation heavily relies on extracting motion patterns from visual sequences, yet effective action abstractions require understanding three-dimensional geometric transformations. Here, we introduce GeoMoLa (Geometry-Aware Motion Latents), which learns discrete motion latent codes by predicting how point clouds evolve during manipulation rather than reconstructing visual observations. This four-dimensional objective -- spatial geometry changing through time -- forces latent representations to encode actual physical motion rather than appearance patterns. GeoMoLa achieves state-of-the-art performance using only single-view RGB-D input, while existing methods require multi-view reconstruction, succeeding across diverse manipulation benchmarks. Our ablations reveal that geometric prediction is the key to driving performance, quantitatively validating that manipulation depends on spatial understanding. Furthermore, the learned codes exhibit effective motion abstraction: applying them to novel scenes produces physically consistent transformations regardless of visual context. Our real-world experiments also confirm this robustness capability, achieving robust manipulation with minimal demonstrations in cluttered environments where geometric reasoning determines success. Thus, we demonstrate that effective motion latents for robot control can better emerge from understanding motion through its three-dimensional effects rather than pixel-level patterns.

arXivで原文を読む →arXiv概要ページ

幾何認識モーション潜在表現によるロバストな操作ポリシーの学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell