日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2602.10104

Olaf-World: 動画世界モデリングのための潜在行動の方向づけ

Olaf-World: Orienting Latent Actions for Video World Modeling

シェア:XThreadsFacebookLINEはてブBluesky

ラベルなし動画から行動制御可能な世界モデルを学習するため、潜在行動を映像特徴の時間差分に整合させるSeqΔ-REPAを提案し、ゼロショット行動転移とデータ効率を改善した。

詳しい要約

1. どんなもの?

- アクションラベル不足を克服するため、未ラベル動画からlatent actionを抽出し、action-conditioned video world modelを事前学習するパイプラインOlaf-Worldを提案。 - 中核はSeq$Δ$-REPAというsequence-levelのcontrol-effect alignment目的関数。 - 大規模passive videoから制御可能なworld modelを学習することを目指す。

2. 先行研究と比べてどこがすごい?

- 従来のlatent action学習はclip内で完結し、action semanticsをcontext間で揃える仕組みがなく、scene-specific cuesと絡み合い共有座標系を欠く。 - 提案法はactionの意味的効果を共有参照として用い、contextを跨いだ構造化されたlatent action spaceを実現。 - 結果としてzero-shot action transferが強く、新しいcontrol interfaceへの適応がdata-efficient。

3. 技術・手法の肝は?

- アクションは未観測だがその意味的効果は観測可能という洞察に基づく。 - Seq$Δ$-REPAは、統合されたlatent actionを、凍結したself-supervised video encoderから得られるtemporal feature differencesにアンカーするsequence-levelのcontrol-effect alignment。 - これによりcontext間でaction semanticsを整合させる共有参照を提供。

4. どうやって有効だと検証した?

- Extensive experimentsにより、より構造化されたlatent action spaceを学習することを示す。 - state-of-the-art baselinesと比較して、zero-shot action transferが強く、新しいcontrol interfaceへの適応がdata-efficientであることを実証。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、latent actionの解釈性、encoder依存性、大規模動画のドメインギャップなどが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてlatent action learning、action-conditioned video world model、self-supervised video encoder(例:VideoMAE、DINOv2など)が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxin Jiang, Yuchao Gu, Ivor W. Tsang, Mike Zheng Shou

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Scaling action-controllable world models is limited by the scarcity of action labels. While latent action learning promises to extract control interfaces from unlabeled video, learned latents often fail to transfer across contexts: they entangle scene-specific cues and lack a shared coordinate system. This occurs because standard objectives operate only within each clip, providing no mechanism to align action semantics across contexts. Our key insight is that although actions are unobserved, their semantic effects are observable and can serve as a shared reference. We introduce Seq$Δ$-REPA, a sequence-level control-effect alignment objective that anchors integrated latent action to temporal feature differences from a frozen, self-supervised video encoder. Building on this, we present Olaf-World, a pipeline that pretrains action-conditioned video world models from large-scale passive video. Extensive experiments demonstrate that our method learns a more structured latent action space, leading to stronger zero-shot action transfer and more data-efficient adaptation to new control interfaces than state-of-the-art baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI