日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.22578

EgoDemoGen: ロボットマニピュレーションにおける視点汎化のための自己中心視点デモ生成

EgoDemoGen: Egocentric Demonstration Generation for Viewpoint Generalization in Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点が変化しても動作する模倣学習ポリシーのため、新視点での観測と行動のペアを生成するフレームワークを提案。軌道変換と条件付き動画生成を組み合わせ、シミュレーションと実機で成功率を大幅に改善した。

詳しい要約

1. どんなもの?

- ロボット manipulation における imitation learning ベースの visuomotor policy が抱える egocentric viewpoint 変化への脆弱性を緩和するためのデータ拡張フレームワーク。 - 新規 egocentric viewpoint 下で observation と action のペアからなる demonstration を生成する。 - EgoTrajTransfer と EgoViewTransfer の2コンポーネントで構成される。

2. 先行研究と比べてどこがすごい?

- 従来の third-person viewpoint 変化はカメラ位置の移動のみだが、egocentric 変化では camera pose と robot action coordinate frame が同時に変わる点を指摘。 - そのため action trajectory の変換と新視点での observation 合成を同時に行う必要があるという課題を設定。 - 既存研究との具体的な比較数値は要旨からは不明。

3. 技術・手法の肝は?

- EgoTrajTransfer: motion-skill segmentation、geometry-aware transformation、inverse kinematics filtering により trajectory を新規 egocentric coordinate frame へ変換。 - EgoViewTransfer: 新視点に reproject した scene video と変換済み trajectory から render した robot motion video を融合する conditional video generation model。 - self-supervised double reprojection strategy により multi-viewpoint data なしで学習可能。

4. どうやって有効だと検証した?

- simulation と real-world の両方で実験。 - 標準および新規 egocentric viewpoint 下で policy の success rate が一貫して向上。 - 絶対改善は simulation で +24.6% と +16.9%、real robot で +16.0% と +23.0%。 - EgoViewTransfer が新規 egocentric observation の video 生成品質で優れることも示した。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗ケース、計算コスト、real-world での適用範囲に関する議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として imitation learning ベースの visuomotor policy、conditional video generation、novel view synthesis、inverse kinematics を用いた trajectory retargeting の定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuan Xu, Jiabing Yang, Xiaofeng Wang, Yixiang Chen, Zheng Zhu, Bowen Fang, Guan Huang, Xinze Chen, Yun Ye, Qiang Zhang, Peiyan Li, Xiangnan Wu, Kai Wang, Bing Zhan, Shuo Lu, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

分類: cs.RO

原文アブストラクト

Imitation learning based visuomotor policies have achieved strong performance in robotic manipulation, yet they often remain sensitive to egocentric viewpoint shifts. Unlike third-person viewpoint changes that only move the camera, egocentric shifts simultaneously alter both the camera pose and the robot action coordinate frame, making it necessary to jointly transfer action trajectories and synthesize corresponding observations under novel egocentric viewpoints. To address this challenge, we present EgoDemoGen, a framework that generates paired observation--action demonstrations under novel egocentric viewpoints through two key components: 1{)} EgoTrajTransfer, which transfers robot trajectories to the novel egocentric coordinate frame through motion-skill segmentation, geometry-aware transformation, and inverse kinematics filtering; and 2{)} EgoViewTransfer, a conditional video generation model that fuses a novel-viewpoint reprojected scene video and a robot motion video rendered from the transferred trajectory to synthesize photorealistic observations, trained with a self-supervised double reprojection strategy without requiring multi-viewpoint data. Experiments in simulation and real-world settings show that EgoDemoGen consistently improves policy success rates under both standard and novel egocentric viewpoints, with absolute gains of +24.6\% and +16.9\% in simulation and +16.0\% and +23.0\% on the real robot. Moreover, EgoViewTransfer achieves superior video generation quality for novel egocentric observations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI