SSI-Policy: 視覚言語ロボット操作のための構造化シーンインターフェース学習

- SSI-Policyは、ロボット操作のためのモジュール型フレームワーク。 - 中核はStructured Scene Interface (SSI) というRGBのみの統一中間表現。 - SSIはmonocular depth features、language-grounded object layouts、instruction-conditioned 2D motion trajectoriesを同時に符号化。 - robot-agnosticでaction-free videoから学習可能。 - 知覚と制御を分離し、下流policyは少数のdemonstrationから学習できる。

- 従来はスケーラブルなタスクレベル推論と明示的な物理構造がトレードオフだった。 - video-based手法は長いhorizonで幾何的にdriftしうる。 - 3D手法はdepth sensingを要することが多い。 - 多くのflow/trajectory interfaceは動きを重視し、明示的なRGB-only幾何表現を持たない。 - SSI-PolicyはRGBのみで幾何・レイアウト・動きを統合し、10 demonstrations/taskで最強のprior手法を約15%上回る。 - 大規模外部pretrainingを使う50-demo手法とも競合。

- Structured Scene Interface (SSI) が肝。 - RGBのみの中間表現で、monocular depth features、language-grounded object layouts、instruction-conditioned 2D motion trajectoriesを統合。 - SSIはrobot-agnosticかつaction-free videoから学習可能。 - 知覚と制御を分離するモジュール型設計。 - 下流policyは少数demonstrationから学習。 - 幾何とmotionのcueが共有interface内で相補的に働く。

- LIBERO benchmarkで、1タスクあたり10 demonstrationsのみの設定で評価。 - 最強のprior手法を約15%上回る。 - 大規模外部pretrainingを用いる50-demo手法と競合する性能。 - Ablationで幾何とmotionのcueが相補的利点を持つことを示す。 - さらに13のreal-worldタスクで検証。spatial reasoning、cross-embodiment transfer、contact-rich manipulationを含む。

- Ablationから幾何とmotionのcueが共有interface内で相補的であると議論。 - 低データ領域での課題に対処。 - ただし要旨からは、失敗事例や限界、計算コスト、一般化の範囲についての詳細は不明。 - 実世界13タスクの具体的な結果や統計的有意性は要旨からは不明。

- 要旨で参照/比較されている研究: video-based approaches、3D approaches、flow/trajectory interfaces、LIBERO benchmark、50-demo methods with large-scale external pretraining。 - 関連手法として、monocular depth estimation、vision-language models、action-free video learning、robot-agnostic policy learningが挙げられる。 - 同分野の定番として、imitation learning、behavior cloning、diffusion policy、RT-1/RT-2系のvision-language-action modelsも次に読む候補。