AWAM: 能動的な軌道条件付き視点想像によるロバストなロボットマニピュレーション

- ロボットマニピュレーションのための能動的知覚パラダイム「AWAM (Active World-Action Model)」を提案する研究。 - 行動前に「どこを観察するか」を能動的に計画し、その軌跡に沿って見えるであろう内容を想像する。 - 想像した視覚情報を再利用可能な空間事前分布として操作に活用する。 - 言語指示追従と物体操作を対象とし、occlusionや分布シフトへの頑健性を狙う。

- 構造化環境での高い性能がopen-world条件( clutter, occlusion, 視点変化)に自動的に転移しない問題を指摘。 - 受動的な観測に頼らず、仮想的なactive-perceptionとして観察位置を計画する点が特徴。 - 計画した軌跡に沿った想像をgeometry-conditioned world modelへの構造化クエリとして用いる。 - 具体的な先行研究名や定量的比較は要旨からは不明。

- タスク関連のvirtual camera motionを予測し、観察軌跡を計画する。 - その軌跡をgeometry-conditioned world modelへの構造化クエリとして入力し、空間事前分布を生成する。 - 生成した事前分布を固定memoryに圧縮し、live observationsとcross-attentionで融合する。 - 融合表現を用いてdiffusion-based action predictionを行う。

- LIBERO-Occで75.9%、LIBERO-Plusで62.4%の成功率。 - RLBench-OG Occlusion1で76.5%。 - 実ロボット試行で94.4%の成功率。 - これらの結果により、評価されたocclusionと分布シフトへの頑健性向上を示す。

- 評価されたocclusionや分布シフトへの頑健性改善を主張。 - 構造化マニピュレーションと制御の乏しい環境との間のギャップの一部を埋めると位置づける。 - 限界や失敗事例、計算コスト、一般化範囲についての詳細は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法としてworld model、diffusion policy、active perception、cross-attentionに基づくマルチモーダル融合の代表的論文を次に読む候補とする。 - ベンチマークとしてLIBERO-Occ、LIBERO-Plus、RLBench-OG Occlusion1の原論文も参照候補。