日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

空間推論arXiv:2603.14811

エゴから世界へ:強化学習による身体化システムにおける協調的空間推論

Ego to World: Collaborative Spatial Reasoning in Embodied Systems via Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

複数のエージェントが異なる視点から環境を認識する問題を扱い、視覚言語モデルが視点を融合して空間推論を行うためのベンチマークE2Wと、強化学習を用いたフレームワークCoRLを提案した。

詳しい要約

1. どんなもの?

- 分散した部分的な視点から世界を理解するembodied multi-agent systemsの課題を扱う。 - 各エージェントはego-centric viewで環境を知覚し、occlusionやambiguityに制限される。 - Ego-to-World (E2W) benchmarkを導入し、vision-language modelの異種視点融合能力を3タスクで評価:global counting, relational location reasoning, action-oriented grasping(view-specific image coordinates予測が必要)。 - 解決策としてCoRLを提案:Chain-of-Thought supervised fine-tuningとreinforcement learning(Group-Relative Policy Optimization)を組み合わせた2段階フレームワーク。 - 中核はCross-View Spatial Reward (CVSR)で、推論ステップを視覚証拠に結びつけ密なタスク整合フ…

2. 先行研究と比べてどこがすごい?

- E2W benchmarkは、分散したego-centric視点からのworld-centric scene understandingを評価する点で新規。 - CoRLは、強力なproprietaryおよびopen-source baselinesをreasoningとperception-grounding metricsの両方で一貫して上回る。 - アブレーションでCVSRの各コンポーネントの必要性を確認。 - 外部spatial reasoning benchmarksへの汎化と、実世界multi-robot manipulation(calibrated multi-camera rigs)でのcross-view localizationとgrasp-and-place実行を実証。

3. 技術・手法の肝は?

- CoRLは2段階:Chain-of-Thought supervised fine-tuningとreinforcement learning(Group-Relative Policy Optimization)。 - Cross-View Spatial Reward (CVSR)が中核:推論ステップを視覚証拠にリンクし、密なタスク整合フィードバックを提供。 - CVSRはcoherent cross-view entity resolutionを確保し、正しい最終予測へ導く。 - これにより、異種視点融合とview-specific image coordinates予測を可能にする。

4. どうやって有効だと検証した?

- E2W benchmarkでの実験:CoRLがproprietaryおよびopen-source baselinesをreasoningとperception-grounding metricsで一貫して上回る。 - アブレーション:CVSRの各コンポーネントの必要性を確認。 - 外部spatial reasoning benchmarksへの汎化を検証。 - 実世界multi-robot manipulation:calibrated multi-camera rigsを用い、cross-view localizationとgrasp-and-place実行を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- E2W benchmarkで比較されたstrong proprietary and open-source baselines。 - Group-Relative Policy Optimization(RL手法)。 - Chain-of-Thought supervised fine-tuning。 - 外部spatial reasoning benchmarks。 - 関連手法として、embodied multi-agent systemsにおけるcollaborative spatial reasoningやvision-language modelsの研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Heng Zhou, Li Kang, Yiran Qin, Xiufeng Song, Ao Yu, Zilu Zhang, Haoming Song, Kaixin Xu, Yuchen Fan, Dongzhan Zhou, Xiaohong Liu, Ruimao Zhang, Philip Torr, Lei Bai, Zhenfei Yin

分類: cs.RO, cs.CV

原文アブストラクト

Understanding the world from distributed, partial viewpoints is a fundamental challenge for embodied multi-agent systems. Each agent perceives the environment through an ego-centric view that is often limited by occlusion and ambiguity. To study this problem, we introduce the Ego-to-World (E2W) benchmark, which evaluates a vision-language model's ability to fuse heterogeneous viewpoints across three tasks: (i) global counting, (ii) relational location reasoning, and (iii) action-oriented grasping that requires predicting view-specific image coordinates. To address this setting, we propose CoRL, a two-stage framework that combines Chain-of-Thought supervised fine-tuning with reinforcement learning using Group-Relative Policy Optimization. Its core component, the Cross-View Spatial Reward (CVSR), provides dense task-aligned feedback by linking reasoning steps to visual evidence, ensuring coherent cross-view entity resolution, and guiding the model toward correct final predictions. Experiments on E2W show that CoRL consistently surpasses strong proprietary and open-source baselines on both reasoning and perception-grounding metrics, while ablations further confirm the necessity of each CVSR component. Beyond that, CoRL generalizes to external spatial reasoning benchmarks and enables effective real-world multi-robot manipulation with calibrated multi-camera rigs, demonstrating cross-view localization and successful grasp-and-place execution. Together, E2W and CoRL provide a principled foundation for learning world-centric scene understanding from distributed, ego-centric observations, advancing collaborative embodied AI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI