日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.19531

ImageWAM: 世界行動モデルは本当にビデオ生成が必要か、それとも画像編集だけで十分か?

ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成に依存する世界行動モデル(WAM)の課題を指摘し、代わりに画像編集モデルを利用したImageWAMを提案。推論時に画像編集のKVキャッシュを行動予測に活用し、計算コストを大幅削減しつつ性能を向上させた。

詳しい要約

1. どんなもの?

- ロボット制御と視覚的世界モデリングを橋渡しする World Action Models (WAMs) の新しい枠組み。 - 従来の video generation ベースではなく、pretrained image editing models を流用して action prediction を行う ImageWAM を提案。 - 推論時に target frame をデコードせず、image-editing denoising の KV caches を flow-matching action expert の条件として使う。 - simulator と real-world の実験で標準 VLA ベースラインや競合 WAMs を上回る。

2. 先行研究と比べてどこがすごい?

- 従来の video-based WAMs は dense multi-frame future tokens で推論コストが高い、action に無関係な時間・外観詳細に容量を割く、長期的未来想像が誤りを導入し action 予測を誤導するという3つの制約があった。 - ImageWAM は image editing の prior が target-frame transformation のみをモデル化し、action に関連する current-to-target の視覚差に焦点を当て、edit pretraining でタスク指示を局所的な視覚変化に接地できる点で、video generation より適合していると主張。 - 追加の policy pretraining なしで競合 WAMs に匹敵または上回り、FLOPs を video-based WAMs の 1/6、latency を 1/4 に削減。

3. 技術・手法の肝は?

- pretrained image editing models を再利用し、target frame への変換をモデル化する。 - 推論時は target frame をデコードせず、image-editing denoising が生成する KV caches を compact な world-action context として flow-matching action expert に条件付けする。 - これにより action に関連する視覚変化に焦点を当てた表現を得る。

4. どうやって有効だと検証した?

- 異なる simulator および real-world 実験で、標準 VLA ベースラインと競合 WAMs に対して性能を比較。 - 追加の policy pretraining なしで上回ることを示した。 - FLOPs と latency の削減(それぞれ 1/6、1/4)を報告。 - attention analysis により、editing caches がタスクに関連する変化領域に焦点を当てることを確認。

5. 議論はある?

- video generation ベースの WAMs の限界(推論コスト、無関係な詳細への容量消費、長期的未来想像の誤り)を指摘し、image editing が有効な代替となり得ると議論。 - attention analysis の結果から、editing caches がタスク関連変化領域に注目することを支持材料としている。 - ただし、具体的な限界や失敗ケース、一般化可能性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:video-based WAMs、standard VLA baselines、flow-matching action expert、pretrained image editing models。 - 関連手法として、video generation を用いた world models、VLA (Vision-Language-Action) モデル、flow matching ベースの action prediction が挙げられる。 - 同分野の定番として、RT-1、RT-2、Diffusion Policy などが考えられるが、要旨に明示的な参照はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuyang Zhang, Wenyao Zhang, Zekun Qi, He Zhang, Haitao Lin, Jingbo Zhang, Yao Mu, Xiaokang Yang, Wenjun Zeng, Xin Jin

分類: cs.CV, cs.RO

原文アブストラクト

World Action Models (WAMs) commonly rely on video generation to bridge visual world modeling and robot control. However, video-based WAMs face three coupled limitations: dense multi-frame future tokens make inference costly, full video prediction spends capacity on action-irrelevant temporal and appearance details, and long-horizon future imagination may introduce errors that mislead action prediction. These issues raise a simple question: Does world action model really need video generation? We propose ImageWAM, a simple WAM framework that repurposes pretrained image editing models for robot action prediction. In contrast to video generation, image editing provides a better-matched prior: it only needs to model a target-frame transformation, focuses on action-relevant current-to-target visual differences, and grounds task instructions to localized visual changes through edit pretraining. In practice, ImageWAM does not decode the target frame at inference time; instead, it conditions a flow-matching action expert on the KV caches produced by image-editing denoising, using them as a compact world-action context. ImageWAM outperforms standard VLA baselines and matching competitive WAMs without additional policy pretraining across different simulator and real-world experiments. It also reduces FLOPs to 1/6 and latency to 1/4 of video-based WAMs. Attention analysis further shows that editing caches focus on task-relevant change regions, supporting image editing as an effective alternative to video-based world-action modeling.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI