日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.18071

EgoPush: 移動ロボットのための自己中心視点によるエンドツーエンド多物体再配置学習

EgoPush: Learning End-to-End Egocentric Multi-Object Rearrangement for Mobile Robots

シェア:XThreadsFacebookLINEはてブBluesky

単一の自己中心カメラ映像のみから、移動ロボットが散らかった環境で複数物体を押して再配置する方策を、特権RL教師から視覚生徒への蒸留で学習し、実機へゼロショット転移した研究。

詳しい要約

1. どんなもの?

- 単一の egocentric camera を用いた mobile robot による long-horizon multi-object non-prehensile rearrangement を扱う研究。 - EgoPush という policy learning framework を提案。 - 明示的な global state estimation に依存せず、perception-driven な rearrangement を実現する。 - object-centric latent space を設計し、絶対 pose ではなく物体間の相対 spatial relations を符号化する。 - privileged reinforcement-learning (RL) teacher から purely visual student policy への distillation を行う。

2. 先行研究と比べてどこがすごい?

- 従来の end-to-end RL baseline と比較して success rate で大幅に優れると主張。 - global state estimation に依存する手法と異なり、動的 scene での失敗を回避できる。 - 絶対 pose ではなく相対 spatial relations を latent space で扱う点が新しい。 - teacher の観測を視覚的にアクセス可能な cue に制限し、student との supervision gap を低減する。 - 実世界の mobile platform で zero-shot sim-to-real transfer を実証。

3. 技術・手法の肝は?

- object-centric latent space により物体間の相対 spatial relations を符号化。 - privileged RL teacher が sparse keypoints から latent states と mobile actions を jointly 学習。 - その teacher を purely visual student policy に distillation。 - teacher の観測を視覚的にアクセス可能な cue に制限し、active perception behaviors を誘導。 - long-horizon credit assignment のため、temporally decayed, stage-local completion rewards で stage-level subproblems に分解。

4. どうやって有効だと検証した?

- 広範な simulation 実験で end-to-end RL baselines より success rate が大幅に高いことを示す。 - ablation studies で各設計選択の有効性を検証。 - 実世界の mobile platform で zero-shot sim-to-real transfer を実証。 - code と videos は https://ai4ce.github.io/EgoPush/ で公開。

5. 議論はある?

- 要旨からは不明。 - ただし、teacher と student 間の supervision gap や long-horizon credit assignment への対処が設計上の課題として言及されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として end-to-end RL、privileged RL teacher、distillation、object-centric representation learning、sim-to-real transfer などが挙げられる。 - 同分野の定番として mobile manipulation、non-prehensile rearrangement、egocentric perception に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boyuan An, Zhexiong Wang, Yipeng Wang, Jiaqi Li, Sihang Li, Jing Zhang, Chen Feng

分類: cs.RO

原文アブストラクト

Humans can rearrange objects in cluttered environments using egocentric perception, navigating occlusions without global coordinates. Inspired by this capability, we study long-horizon multi-object non-prehensile rearrangement for mobile robots using a single egocentric camera. We introduce EgoPush, a policy learning framework that enables egocentric, perception-driven rearrangement without relying on explicit global state estimation that often fails in dynamic scenes. EgoPush designs an object-centric latent space to encode relative spatial relations among objects, rather than absolute poses. This design enables a privileged reinforcement-learning (RL) teacher to jointly learn latent states and mobile actions from sparse keypoints, which is then distilled into a purely visual student policy. To reduce the supervision gap between the omniscient teacher and the partially observed student, we restrict the teacher's observations to visually accessible cues. This induces active perception behaviors that are recoverable from the student's viewpoint. To address long-horizon credit assignment, we decompose rearrangement into stage-level subproblems using temporally decayed, stage-local completion rewards. Extensive simulation experiments demonstrate that EgoPush significantly outperforms end-to-end RL baselines in success rate, with ablation studies validating each design choice. We further demonstrate zero-shot sim-to-real transfer on a mobile platform in the real world. Code and videos are available at https://ai4ce.github.io/EgoPush/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI