日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.08023

4D-WAM: 軌跡フィールドによる世界行動モデルへの時空間認識の注入

4D-WAM: Infusing Spatiotemporal Awareness into World Action Models through Trajectory Fields

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動生成と動画予測を統合する世界行動モデルに対し、3D軌跡フィールドからの時空間知識を表現整合で注入する訓練戦略を提案し、空間理解と実行精度を向上させた。

詳しい要約

1. どんなもの?

4D-WAMは、World Action Models (WAMs)に時空間認識を注入するためのモデル非依存の訓練戦略を提案する研究。WAMsはビデオ予測と行動生成を同時にモデル化するが、通常は2Dピクセル空間でビデオを表現するため、ロボットの行動が実行される3D空間との表現ギャップが存在する。4D-WAMは、3Dトラジェクトリフィールドからの時空間知識を表現アライメントを通じてWAMsに注入する。

2. 先行研究と比べてどこがすごい?

先行研究のWAMsは2Dピクセル空間でビデオを表現し、3D空間とのギャップがあった。最近の3Dアプローチは3D情報を導入するが、3D構造のダイナミクスを十分に活用できていない。4D-WAMは、3Dトラジェクトリフィールドから時空間知識を注入することで、このギャップを埋め、3D構造のダイナミクスを活用する点が新しい。

3. 技術・手法の肝は?

手法の肝は、2つの相補的な目的関数を導入すること。1つ目はmotion alignmentで、隣接フレーム間の時間的特徴変化を整列させ、局所的な4D認識をモデルに構築させる。2つ目はdestination alignmentで、ソースフレームから最終目的地を推論するよう、それらの注意類似度分布のギャップを最小化する。これらにより、局所的なモーション監視と長期的なゴールガイダンスを提供し、トラジェクトリレベルの時空間表現を学習させる。

4. どうやって有効だと検証した?

異なるベースモデルを用いた広範なin-distributionおよびout-of-distribution実験を行い、空間理解、実行精度、ロバスト性、汎化性、多様性の改善を示した。具体的なデータセットやベースラインは要旨からは不明。

5. 議論はある?

要旨からは、提案手法がモデル非依存であり、様々なベースモデルに適用可能であることが示唆されるが、計算コストや実ロボットへの適用に関する議論は記載されていない。また、3Dトラジェクトリフィールドの取得方法や、2D表現とのアライメントの限界についての議論も要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている先行研究として、World Action Models (WAMs)や3Dアプローチが挙げられる。具体的な論文名は不明だが、関連する分野の定番として、ビデオ予測と行動生成を統合した世界モデルに関する研究や、3Dシーン表現を用いたロボット学習の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lishan Yang, Wenxuan Song, Xi Wang, Pingyue Sheng, Zheng Fang, Ziyang Zhou, Junjie He, Haodong Yan, Jiayi Chen, Nan Sun, Qiao Sun, Pengwei Wang, Lingqiao Liu, Yan Wang, Yuxiang Gao, Feras Dayoub, Haoang Li

分類: cs.RO

原文アブストラクト

Building on recent advances in world models, World Action Models (WAMs) jointly model video prediction and action generation. However, they typically represent videos in 2D pixel space, creating a representation gap with 3D space in which robotic actions are executed. Recent 3D approaches introduce 3D information, but fail to fully exploit the dynamics of 3D structures. In this work, we propose 4D-WAM, a model-agnostic training strategy that injects spatiotemporal knowledge from 3D trajectory fields into WAMs through representation alignment. To this end, we introduce two complementary objectives: 1) motion alignment, which aligns temporal feature variations across adjacent frames and encourages the model to build local 4D awareness during training, and 2) destination alignment, which guides the model to infer the final destination from the source frame by minimizing the gap between their attention-like similarity distributions. Together, these objectives provide both local motion supervision and long-horizon goal guidance, enabling WAMs to learn trajectory-level spatiotemporal representations. Extensive in-distribution and out-of-distribution experiments across different base models demonstrate the model's improvements in spatial understanding, execution precision, robustness, generalization, and versatility.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI