OASIS: SE(3)軌道予測による観測・行動空間の整合を利用したロボット操作

- ロボットマニピュレーション向けの visuomotor policy『OASIS』を提案。 - 中間表現を action space と整合させるため、$SE(3)$ での end-effector trajectory prediction を行う。 - 3D-aware feature encoder が vision-language と metric-depth 特徴を融合。 - $SE(3)$ trajectory predictor が camera-frame の end-effector trajectory を生成。 - その pose-supervised hidden states を条件に action decoder が action chunks を生成。

- 従来の VLA models や world action models (WAMs) は、補助的な spatial features や future visual-state prediction を中間表現に加えるが、観測空間に留まる。 - それらは action space の rigid-body geometry を共有せず、action decoder が暗黙的に復元する必要があった。 - OASIS は $SE(3)$ trajectory prediction により中間表現を action space と明示的に整合させる点が新しい。 - 結果として simulation と real-world で VLA および WAM baselines を success rate と out-of-distribution generalization で上回る。

- 3D-aware feature encoder が vision-language 特徴と metric-depth 特徴を融合する。 - $SE(3)$ trajectory predictor が camera-frame の end-effector trajectory を予測する。 - 予測器の pose-supervised hidden states を条件として action decoder が action chunks を生成。 - これにより rigid-body motion と整合した action 生成を実現する。

- simulation および real-world experiments を実施。 - VLA および WAM baselines と比較し、success rate と out-of-distribution generalization で OASIS が優位であることを示した。 - 詳細な実験設定や指標は要旨からは不明。

- 要旨からは不明。 - 想定される議論点としては、$SE(3)$ 予測の誤差伝播、real-world での汎化限界、計算コストなどが考えられるが、要旨には明記されていない。

- 要旨で参照/比較されている VLA models および world action models (WAMs) の代表的研究。 - 具体的な論文名は要旨に記載がないため、同分野の定番として vision-language-action models や world models for robotic manipulation に関する研究を挙げる。