日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.28243

EgoGenesis: オンライン固定投影メモリとAction-3D RoPEによる自己中心的世界行動モデリング

EgoGenesis: Egocentric World-Action Modeling with Online Anchored Projective Memory and Action-3D RoPE

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点の操作ビデオを合成する世界行動シミュレータを提案し、生成データで実ロボットの汎化性能を向上させた。

詳しい要約

1. どんなもの?

EgoGenesisは、エゴセントリックな操作ビデオを合成する世界行動シミュレータである。実世界のデータ収集コストを抑えるため、事前学習済みのビデオ生成モデルを基盤に、幾何学的に整合性のある2つの条件付け機構を導入し、制御可能で高品質な操作ビデオを生成する。

2. 先行研究と比べてどこがすごい?

先行研究のビデオ生成モデルは、エゴセントリックな操作タスクにおいて、長期的な生成での視覚的忠実度や幾何学的安定性、行動の整合性に課題があった。EgoGenesisは、Online Anchored Projective Memory (OAPM)とAction-3D Rotary Position Embedding (A3D-RoPE)を導入することで、これらの問題を解決し、実ロボットのタスク成功率を向上させる合成データを生成できる点が優れている。

3. 技術・手法の肝は?

手法の核は2つの幾何学的条件付け機構である。OAPMは、最初のフレームの3Dシーンアンカーを保持しつつ、自己回帰生成中に最近の状態を定期的に更新することで、長期的な幾何学的安定性を維持する。A3D-RoPEは、エンドエフェクタの動きをカメラ認識型の3D回転座標でエンコードし、スケルトンからビデオへのクロスアテンションに行動の幾何学を注入することで、正確な行動制御を実現する。

4. どうやって有効だと検証した?

有効性は、実世界の400の軌道にEgoGenesisで生成した400の軌道を追加して学習した場合、単腕タスクでは実ロボットの成功率が77%から84%に、双腕タスクでは53%から70%に向上したことで検証された。これにより、合成データが下流のWorld-Action Model (WAM)の汎化を大幅に改善することが示された。

5. 議論はある?

要旨からは、合成データの品質や多様性の限界、OAPMやA3D-RoPEの設計選択の詳細な影響、他のタスクや環境への適用可能性などについての議論は不明である。また、生成データの実ロボットへの適用における潜在的なバイアスや、計算コストについても言及がない。

6. 次に読むべき論文は?

要旨で参照されている事前学習済みのビデオ生成モデルに関する論文や、エゴセントリックな操作データセット(例:Ego4D)に関する研究、またWorld-Action Model (WAM)の基盤となる研究が挙げられる。具体的には、ビデオ生成の先行研究や、ロボット学習のためのシミュレーションデータ生成に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zexuan Yan, Yuzhou Wu, Yue Ma, Zonghang He, Kaibo Yin, Xiaobing Tu, Yinggui Wang, Jinkui Ren, Xiantao Zhang, Shijian Wang, Jinghong Liu, Linfeng Zhang

分類: cs.CV, cs.AI

原文アブストラクト

Egocentric video offers rich manipulation experience for embodied AI, yet collecting diverse egocentric data across scenes, objects, motions, and embodiments remains costly. We present \method, an egocentric world-action simulator that synthesizes controllable, high-quality manipulation videos to expand scarce real-world training data. \method{} builds on a pretrained video generation prior and introduces two geometry-aware conditioning mechanisms. Online Anchored Projective Memory (OAPM) preserves a first-frame 3D scene anchor while periodically refreshing a recent state during autoregressive generation. Action-3D Rotary Position Embedding (A3D-RoPE) encodes end-effector motion with camera-aware 3D rotary coordinates, injecting action geometry into skeleton-to-video cross-attention for precise control. Together, these components improve visual fidelity, geometric stability, and action alignment in long egocentric rollouts. Moreover, augmenting 400 real trajectories with 400 \method-generated trajectories improves out-of-distribution real-robot success from 77\% to 84\% on single-arm tasks and from 53\% to 70\% on dual-arm tasks, demonstrating that the synthesized data substantially improve downstream WAM generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI