日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.15874

空間ポリシー:空間認識モデリングと推論による視覚運動ロボット操作の誘導

Spatial Policy: Guiding Visuomotor Robotic Manipulation with Spatial-Aware Modeling and Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

空間認識能力を欠く既存の視覚中心階層型モデルを改善するため、空間条件付き動画生成とフロー型行動予測、空間推論フィードバックを統合した操作フレームワークを提案し、23タスクで大幅な性能向上を達成した。

詳しい要約

1. どんなもの?

- 視覚中心の階層型 embodied モデルに空間認識能力を付与する、spatial-aware な visuomotor ロボット操作フレームワーク Spatial Policy (SP)。 - 明示的な spatial modeling と reasoning を統合した単一フレームワーク。 - 複雑環境で視覚プランを実行可能な制御へ橋渡しすることを狙う。 - 23 の embodied control タスクで評価。

2. 先行研究と比べてどこがすごい?

- 既存の vision-centric hierarchical embodied モデルは spatial awareness 能力を欠き、視覚プランから行動制御への橋渡しが弱いという課題があった。 - SP は spatial plan table を介した明示的な空間モデリングと推論でこの限界に対処。 - Meta-World で 33% 以上、iTHOR で 25% 以上の改善を報告し、state-of-the-art ベースラインを大きく上回る。

3. 技術・手法の肝は?

- spatial-conditioned embodied video generation module: spatial plan table を通じて空間的に誘導された予測をモデル化。 - flow-based action prediction module: 協調を伴う実行可能な action を推論。 - spatial reasoning feedback policy: dual-stage replanning により spatial plan table を洗練。 - これら3要素を統合した unified な visuomotor manipulation フレームワーク。

4. どうやって有効だと検証した?

- Meta-World と iTHOR で state-of-the-art ベースラインと比較し、それぞれ 33% 以上・25% 以上の改善を確認。 - 23 の embodied control タスクで有効性を検証。 - 実世界のロボット実験も実施し、実用性を確認。

5. 議論はある?

- 要旨からは不明。 - 実世界実験で practical viability を確認したと述べるのみで、限界や失敗事例の議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照・比較されている state-of-the-art ベースライン(具体的名称は要旨からは不明)。 - 関連手法として vision-centric hierarchical embodied models、embodied video generation、flow-based action prediction、spatial reasoning / replanning に関する研究。 - 評価環境の Meta-World および iTHOR 関連の embodied control 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yijun Liu, Yuwei Liu, Yuan Meng, Jieheng Zhang, Yuwei Zhou, Ye Li, Jiacheng Jiang, Kangye Ji, Shijia Ge, Zhi Wang, Wenwu Zhu

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Vision-centric hierarchical embodied models have demonstrated strong potential. However, existing methods lack spatial awareness capabilities, limiting their effectiveness in bridging visual plans to actionable control in complex environments. To address this problem, we propose Spatial Policy (SP), a unified spatial-aware visuomotor robotic manipulation framework via explicit spatial modeling and reasoning. Specifically, we first design a spatial-conditioned embodied video generation module to model spatially guided predictions through the spatial plan table. Then, we propose a flow-based action prediction module to infer executable actions with coordination. Finally, we propose a spatial reasoning feedback policy to refine the spatial plan table via dual-stage replanning. Extensive experiments show that SP substantially outperforms state-of-the-art baselines, achieving over 33% improvement on Meta-World and over 25% improvement on iTHOR, demonstrating strong effectiveness across 23 embodied control tasks. We additionally evaluate SP in real-world robotic experiments to verify its practical viability. SP enhances the practicality of embodied models for robotic control applications. Code and checkpoints are maintained at https://plantpotatoonmoon.github.io/SpatialPolicy/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI