日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.12072

ワールドモデルの自己蒸留:汎用タスク解決のためのワールドモデル学習

World Model Self-Distillation: Training World Models to Solve General Tasks

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みビデオ生成モデルを、自己蒸留と強化学習を組み合わせて、タスク実行能力を持つワールドモデルへと変換する手法を提案。

詳しい要約

1. どんなもの?

- 事前学習済みビデオ生成器を視覚的World Modelとして活用し、タスク解決能力を引き出すフレームワーク。 - ラベルなしシーン画像からVLMが候補タスクと詳細な解決手順を生成。 - その手順で条件付けしたDemonstrator(ビデオ拡散モデル)の振る舞いを、画像と短いタスクプロンプトのみで条件付けされたExecutorに蒸留。 - さらにVLMフィードバックによる強化学習でExecutorを改善。 - WorldTasks-BenchmarkとDreamGenで評価。

2. 先行研究と比べてどこがすごい?

- 既存手法は言語やVision-Language Modelに推論を外注するか、ペアのタスク実行ビデオによる教師あり微調整に依存。 - 後者は収集コストが高くスケール困難。 - 提案手法はキュレーションされたタスクビデオ教師なしで、キャプション誘導生成から指示条件付きタスク解決へ実行知識を転移。 - 自己蒸留と強化学習を組み合わせ、スケーラブルにタスク解決能力を引き出す点が新しい。

3. 技術・手法の肝は?

- 自己蒸留:VLMが生成した詳細な解決手順で条件付けしたDemonstratorの振る舞いを、画像と短いタスクプロンプトのみで条件付けされたExecutorに蒸留。 - 強化学習:VLMフィードバックを報酬として利用。サンプルビデオがタスクを満たすか判定する方が解決策生成より容易という非対称性を活用。 - これによりExecutorを改善。

4. どうやって有効だと検証した?

- 提案するWorldTasks-BenchmarkとDreamGenロボティクスベンチマークで実験。 - VLMベースの評価プロトコル下でExecutorがDemonstratorを上回ることを示す。 - ロボティクスタスクへの転移も競争力があることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Vision-Language Model、ビデオ拡散モデル、DreamGenロボティクスベンチマーク。 - 関連手法:自己蒸留、強化学習、教師あり微調整。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

分類: cs.CV

原文アブストラクト

Pretrained video generators are promising visual world models that exhibit emergent task-solving abilities; however, their reliance on detailed textual descriptions limits their direct use for planning and decision-making. Existing approaches either outsource this reasoning to language or vision-language models, or rely on supervised fine-tuning with paired task-execution videos, which are costly to collect and difficult to scale. We propose a scalable framework that elicits task-solving ability in such models by combining self-distillation with reinforcement learning. Given an unlabeled scene image, a vision-language model generates a candidate task and a detailed step-by-step solution. The solution conditions a pretrained video diffusion model, the Demonstrator; we distill its behavior into an Executor conditioned only on the image and a short task prompt. This transfers execution knowledge from caption-guided generation to instruction-conditioned task solving without curated task-video supervision. We further improve the Executor with reinforcement learning from VLM feedback, exploiting the asymmetry between judging whether a sampled video satisfies a task and generating the solution. Experiments on our proposed WorldTasks-Benchmark and the DreamGen robotics benchmark show that the Executor surpasses the Demonstrator under our VLM-based evaluation protocol and transfers competitively to robotic tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI