日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.13017

FlowWAM: オプティカルフローを世界行動モデルの統一アクション表現として用いる

FlowWAM: Optical Flow as a Unified Action Representation for World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みビデオ生成モデルを活用する世界行動モデル(WAM)において、アクション表現としてオプティカルフローを用いることで、制御精度と世界モデリング性能を向上させる手法を提案した。

詳しい要約

1. どんなもの?

FlowWAMは、World Action Models (WAMs) のための新しい行動表現としてオプティカルフローを導入する、二重ストリーム拡散フレームワークです。オプティカルフローはRGBビデオと同じ形式を持ち、ピクセル単位の変位をエンコードするため、事前学習済みのビデオ生成器と整合します。FlowWAMは、ポリシーモード(フロー生成による行動予測)とワールドモデルモード(目標フロー系列による未来ビデオ生成のガイド)の両方を実装します。さらに、フローは行動ラベルなしで生ビデオから抽出できるため、大規模な未ラベルビデオデータセットでの事前学習が可能です。

2. 先行研究と比べてどこがすごい?

既存の数値的な行動表現は事前学習済みビデオ生成器と整合せず、従来の視覚的な行動表現はフレーム間の時間的運動構造を見落としていました。FlowWAMは、ビデオネイティブな行動表現としてオプティカルフローを採用することで、これらの問題を解決し、ポリシーモードとワールドモデルモードの両方で性能を向上させます。また、行動ラベルなしのデータを活用できる点も先行研究と異なります。

3. 技術・手法の肝は?

FlowWAMは、共有の事前学習済みビデオ生成器内でRGBビデオとフロービデオを共同でモデル化する二重ストリーム拡散フレームワークです。ポリシーモードでは、フローを生成して行動予測を行い、ワールドモデルモードでは、目標フロー系列を使用して未来ビデオ生成をガイドします。フローは生ビデオから簡単に抽出できるため、行動ラベルなしのデータで事前学習できます。

4. どうやって有効だと検証した?

RoboTwin操作タスクでは、Clean設定で成功率92.94%、Random設定で92.14%を達成し、VLAおよびWAMベースラインを上回りました。WorldArenaワールドモデリングでは、最良のEWMScore(63.71)を達成し、軌跡精度で18.4%の相対改善を示しました。

5. 議論はある?

要旨からは、オプティカルフロー表現の限界や、他の行動表現との比較における詳細な議論は不明です。また、実世界のロボットへの適用や、大規模データセットでの事前学習の効果に関する追加の検証が必要かもしれません。

6. 次に読むべき論文は?

要旨で参照されているVLA(Vision-Language-Action)モデルやWAM(World Action Model)の関連研究、およびオプティカルフロー推定の手法(例: RAFT)やビデオ生成モデル(例: Video Diffusion Models)に関する論文が挙げられます。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yixiang Chen, Peiyan Li, Yuan Xu, Qisen Ma, Jiabing Yang, Kai Wang, Jianhua Yang, Dong An, He Guan, Gaoteng Liu, Jianlou Si, Jun Huang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

分類: cs.RO, cs.CV

原文アブストラクト

World Action Models (WAMs) are able to leverage pretrained video generators for both world modeling and action prediction. However, directly leveraging such video generators for control raises a new challenge: how to represent actions in a suitable form that aligns with pretrained video generators while carrying enough motion cues for accurate control. Existing numerical actions fail to satisfy the former, and prior visual action representations overlook the temporal motion structure across frames. We address this issue with FlowWAM, a dual-stream diffusion framework that adopts optical flow as a unified, video-native action representation. Flow videos share the same format as RGB videos and encode rich per-pixel displacement. By jointly modeling them within a shared pretrained video generator, FlowWAM can naturally implement two modes of WAMs. In policy mode, FlowWAM generates flow for action prediction, while in world-model mode, it uses target flow sequences to guide future video generation. Moreover, since flow can be easily extracted from raw videos without action labels, FlowWAM can leverage large-scale action-unlabeled video datasets for pretraining. We empirically find that our flow-based action representation delivers gains across both modes. On RoboTwin manipulation, FlowWAM raises the success rate to 92.94% on the Clean setting and 92.14% on Random, outperforming both VLA and WAM baselines. On WorldArena world modeling, it achieves the best overall EWMScore (63.71) with an 18.4% relative improvement in trajectory accuracy. More results can be found on our project website: https://flow-wam.github.io .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI