日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2606.13769

μ0: スケーラブルな3Dインタラクショントレース世界モデル

$μ_0$: A Scalable 3D Interaction-Trace World Model

シェア:XThreadsFacebookLINEはてブBluesky

ロボット学習のための、物体や手などの相互作用点の3D軌跡を予測する世界モデルを提案。多様なビデオから自動で3D教師信号を抽出し、行動ラベルなしで事前学習可能。

詳しい要約

1. どんなもの?

- 3D interaction-trace に基づくスケーラブルな world model $μ_0$ を提案。 - 密な pixel や embodiment 固有の action label を予測せず、物体・道具・手・接触領域などの salient interaction point の滑らかな 3D trajectory を予測。 - これにより embodiment-agnostic な運動インターフェースを実現し、多様な video から学習可能。 - 学習済み $μ_0$ は凍結して再利用でき、下流の robot embodiment 向け action expert と組み合わせ可能。

2. 先行研究と比べてどこがすごい?

- pixel-space video model は広い視覚 prior を持つが密な外観再構成に容量を消費。 - direct action model は embodiment 固有ラベルが必要でスケーラビリティに難。 - $μ_0$ は 3D trace というコンパクトで embodiment-agnostic な表現を予測し、両者の課題を回避。 - 実験で 2D/3D trace prediction の baseline(trace prediction model や tokenized VLM 手法)を上回る。 - action-free pretraining ながら、trace-conditioned policy が action supervision 付き VLA(例: $π_0$)に匹敵する性能を達成。

3. 技術・手法の肝は?

- TraceExtract: 多様な video から keypoint 選択、globally aligned trace 構築、motion segment と階層的 language caption の関連付けにより 3D supervision を自動抽出。 - $μ_0$: 事前学習済み vision-language backbone と modular trace expert を組み合わせ。 - trace expert は各 query を B-spline control point で表現し、将来の trace を予測。 - 予測対象は密な pixel や直接 action ではなく、salient interaction point の滑らかな 3D trajectory。

4. どうやって有効だと検証した?

- 2D および 3D trace prediction タスクで baseline(trace prediction model、tokenized VLM 手法)と比較し、$μ_0$ が上回ることを示した。 - 凍結した $μ_0$ を action expert と組み合わせ、下流 robot embodiment の trace-conditioned policy を構築。 - action-free pretraining にもかかわらず、$π_0$ など action supervision 付き VLA と競合する性能を達成。 - これにより 3D trace が cross-embodiment manipulation のスケーラブルで転移可能な表現であることを実証。

5. 議論はある?

- 3D trace が cross-embodiment manipulation のスケーラブルかつ転移可能な表現として確立されると主張。 - action-free pretraining でも action supervision 付き VLA に匹敵する点を強調。 - 限界や失敗ケース、計算コスト、一般化範囲などの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- $π_0$(action supervision 付き VLA の比較対象) - tokenized VLM 手法 - trace prediction model - pixel-space video model - direct action model - vision-language backbone 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seungjae Lee, Yoonkyo Jung, Jusuk Lee, Jonghun Shin, Amir Hossein Shahidzadeh, Yao-Chih Lee, H. Jin Kim, Jia-Bin Huang, Furong Huang

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

World models that capture how actions induce physical change enable scalable robot learning without reliance on embodiment-specific action labels. Pixel-space video models provide broad visual priors but expend model capacity on dense appearance reconstruction, while direct action models require embodiment-specific labels that hinder scalability. We present $μ_0$, a scalable world model based on 3D traces. Rather than predicting dense pixels or directly modeling actions, $μ_0$ forecasts smooth 3D trajectories for salient interaction points such as objects, tools, hands, and contact regions, yielding a compact, embodiment-agnostic motion interface. To enable training from diverse video sources, our TraceExtract system automatically extracts 3D supervision by selecting keypoints, constructing globally aligned traces, and associating motion segments with hierarchical language captions. This TraceExtract supervision pretrains $μ_0$ by combining a pretrained vision-language backbone with a modular trace expert, which represents each query via B-spline control points and predicts future traces. Experiments show that $μ_0$ outperforms baselines in both 2D and 3D trace prediction, including trace prediction models and tokenized VLM methods. Because $μ_0$ is frozen and reusable, it can be paired with action experts for downstream robot embodiments. Despite action-free pretraining, the resulting trace-conditioned policies achieve performance competitive with VLA models pretrained with action supervision, such as $π_0$. These results establish 3D traces as a scalable and transferable representation for cross-embodiment manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI