予測幾何から行動へ：身体性マニピュレーションのための相補的予測表現の学習

- 多視点動画クリップから complementary な predictive representation を学習する2段階フレームワーク - 対象は embodied manipulation の policy 学習 - 現在の scene geometry だけでなく、interaction 下での geometry の時間発展を表現 - pretraining と downstream post-training の2段階構成 - LIBERO、LIBERO-Plus、SimplerEnv、実世界の bimanual/single-arm タスクで評価

- 既存手法は現観測の geometric 情報を policy に付加するか、future prediction を auxiliary supervision として導入するかに留まる - 本研究は action 生成のために predictive geometry をどう表現すべきかを問い、complementary な2種類の表現を分離して学習 - future observation を training 時の privileged supervision としてのみ使い、inference 時には不要とする点が実用的 - WidowX 評価で 10.4 percentage points の絶対改善を報告

- 第1段階 pretraining: frozen 3D foundation model が密な geometric features を提供 - それを predictive geometric representation に圧縮し、scene structure と temporal evolution を保持するよう最適化 - geometric transitions に action supervision を適用し、action-relevant transitions を強調する complementary motor representation を抽出 - 第2段階 post-training: predictive geometry は geometry queries 経由で転送、motor representation は action-generation pathway の中間特徴を導く - future observation は training 時のみ privileged supervision として使用

- LIBERO、LIBERO-Plus、SimplerEnv、実世界 bimanual/single-arm タスクで検証 - 下流 policy を一貫して改善し、WidowX 評価で 10.4 percentage points の絶対利得 - 複数の VLA architectures と WAMs への転送を示し、future-world prediction と action prediction の双方で改善 - コード公開予定: https://github.com/xuxiaoxxxx/CPR

- future observation を inference 時に必要としない設計のため、実運用上の制約が小さい - 一方、pretraining に frozen 3D foundation model と多視点動画を要する点のコストや汎化性は要旨からは不明 - どの表現がどのタスク特性に効くかの詳細な分析は要旨からは不明 - 実世界タスクの規模・被験者数・失敗事例などの議論は要旨からは不明

- LIBERO、LIBERO-Plus、SimplerEnv の benchmark 論文 - VLA architectures および WAMs の代表的先行研究 - frozen 3D foundation model を用いた geometric representation 学習の関連研究 - future prediction を auxiliary supervision とする manipulation policy 研究