日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.21690

TraceGen: 3Dトレース空間での世界モデリングによる異なる身体性の動画からの学習

TraceGen: World Modeling in 3D Trace Space Enables Learning from Cross-Embodiment Videos

シェア:XThreadsFacebookLINEはてブBluesky

人間や他ロボットの動画を3Dトレース空間に変換し、少ない実機動画で新タスクを学習できる世界モデルTraceGenを提案。

詳しい要約

1. どんなもの?

- 新規ロボット・新環境で少数のデモからタスクを学習するための枠組み - シーン全体の軌道を表すコンパクトな3D「trace-space」を導入 - trace-space上で未来の動きを予測するworld model「TraceGen」を提案 - 外観を抽象化しつつmanipulationに必要な幾何構造を保持 - 大規模学習用データパイプライン「TraceForge」も開発

2. 先行研究と比べてどこがすごい?

- 従来のpixel-spaceのvideo-based world modelと比べ推論が50-600x高速 - 異なるembodiment・camera・環境の動画を直接使える点が新しい - 物体検出器や重いpixel-space生成に依存せずembodiment間適応が可能 - 5本のtarget robot動画で4タスク80%成功 - 未calibrationのスマホ撮影human動画5本でも実機67.5%成功

3. 技術・手法の肝は?

- シーン全体の軌道を表すsymbolic表現「3D trace-space」を中核に据える - TraceGenはpixelではなくtrace-spaceで将来motionを予測 - TraceForgeがheterogeneousなhuman/robot動画を一貫した3D tracesへ変換 - 123K動画・1.8M observation-trace-language tripletsのcorpusを構築 - このcorpusでpretrainingし転移可能な3D motion priorを獲得

4. どうやって有効だと検証した?

- 4タスクにおいてtarget robot動画5本で80%成功を報告 - 未calibrationのhandheld phone撮影human動画5本のみの条件で実機67.5%成功 - state-of-the-artのvideo-based world model比で50-600x高速な推論を確認 - 詳細な実験設定・比較条件は要旨からは不明

5. 議論はある?

- 外観を捨て幾何構造のみ保持する抽象化の限界や適用範囲は要旨からは不明 - 物体検出器不要でembodiment間適応できる点の一般性は要旨からは不明 - 失敗事例やtrace-spaceで表現できないタスクの議論は要旨からは不明 - 大規模corpusの品質・biasに関する議論は要旨からは不明

6. 次に読むべき論文は?

- pixel-spaceのvideo-based world model(比較対象として言及) - cross-embodiment learning / cross-embodiment video learning - imitation learning from human videos - 3D scene-level trajectory表現やmotion priorを用いたrobot learning - world modelを用いたmodel-based robot learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seungjae Lee, Yoonkyo Jung, Inkook Chun, Yao-Chih Lee, Zikui Cai, Hongjia Huang, Aayush Talreja, Tan Dat Dao, Yongyuan Liang, Jia-Bin Huang, Furong Huang

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Learning new robot tasks on new platforms and in new scenes from only a handful of demonstrations remains challenging. While videos of other embodiments - humans and different robots - are abundant, differences in embodiment, camera, and environment hinder their direct use. We address the small-data problem by introducing a unifying, symbolic representation - a compact 3D "trace-space" of scene-level trajectories - that enables learning from cross-embodiment, cross-environment, and cross-task videos. We present TraceGen, a world model that predicts future motion in trace-space rather than pixel space, abstracting away appearance while retaining the geometric structure needed for manipulation. To train TraceGen at scale, we develop TraceForge, a data pipeline that transforms heterogeneous human and robot videos into consistent 3D traces, yielding a corpus of 123K videos and 1.8M observation-trace-language triplets. Pretraining on this corpus produces a transferable 3D motion prior that adapts efficiently: with just five target robot videos, TraceGen attains 80% success across four tasks while offering 50-600x faster inference than state-of-the-art video-based world models. In the more challenging case where only five uncalibrated human demonstration videos captured on a handheld phone are available, it still reaches 67.5% success on a real robot, highlighting TraceGen's ability to adapt across embodiments without relying on object detectors or heavy pixel-space generation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI