日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.35850

OSWAM:1ステップで行動生成する実用的ワールドアクションモデル

OSWAM: An Effective World Action Model with One-Step Action Generation

シェア:XThreadsFacebookLINEはてブBluesky

拡散過程の初期化に物理的・行動条件付きの「想像トークン」を用いることで、自動運転や身体制御において高品質な行動をわずか1ステップで生成できるワールドアクションモデルを提案した。

詳しい要約

1. どんなもの?

- 自動運転とembodied control向けのWorld Action Model(WAM) - 拡散によるaction生成を1ステップで行うOSWAMを提案 - direct-policy WAMの推論遅延問題を解消しreal-time動作を狙う - 特徴 - 数十ステップのdenoisingを1ステップに短縮 - NVIDIA RTX 5090 GPU上でcompiled inference時40msのlatency - direct-policy WAM比で約3倍のspeedup

2. 先行研究と比べてどこがすごい?

- 先行のdirect-policy WAM - 明示的なfuture visual predictionを分離し推論効率化を図るが、競争力あるaction品質には数十のdenoising stepsが必要 - 単純にstepsを減らすと非線形なmulti-step denoising trajectoryが粗い更新に潰れ品質が大幅劣化 - 提案の優位性 - 1 diffusion stepで高品質actionを生成 - direct-policy WAMおよびJoint-WAM(数十steps要)に対し同等以上、約3倍高速 - real-time compiled inference(40ms)を実現

3. 技術・手法の肝は?

- 課題認識 - random noise初期化にstructured action priorsが無いことが反復denoisingを必要とする原因と主張 - 主要構成 - imagination tokensを構築しdiffusion processを初期化、physical priorsとaction-conditioned representationsを付与 - privileged information distillation with future conditioningを導入しfuture-awareなaction生成を強化 - 結果 - 上記により1 diffusion stepでの高品質action生成を実現

4. どうやって有効だと検証した?

- 評価領域 - autonomous drivingとembodied controlの両方で実験 - 比較対象 - direct-policy WAM、Joint-WAM(数十steps必要) - 結果 - 同等またはそれ以上の結果を達成 - direct-policy WAM比で約3倍のspeedup - NVIDIA RTX 5090 GPU上でreal-time compiled inference、latency約40msを確認 - 詳細なbenchmark名・指標は要旨からは不明

5. 議論はある?

- 要旨で述べる主張 - random noise初期化のstructured action priors欠如が反復denoisingの原因という解釈 - imagination tokensとprivileged information distillationで1ステップ化が可能という立場 - 制約・限界 - 具体的な失敗ケース、汎化性、安全性、計算資源依存の議論は要旨からは不明 - 40msはNVIDIA RTX 5090 GPU上のcompiled inference条件であり、他環境でのlatencyは要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - direct-policy World Action Models(WAM) - Joint-WAM - 関連手法として挙げられる要素 - diffusion-based action generation(denoising steps削減の文脈) - privileged information distillation - future conditioning - 同分野の定番として次に検討すべき一般名 - diffusion policy - world models - imitation learning - autonomous drivingのend-to-end planning - embodied controlのvision-language-action models

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guowen Zhang, Liyi Chen, Xu Hu, Pengfei Wang, Jingfan Chen, Chenhang He, Lei Zhang

分類: cs.CV, cs.RO

原文アブストラクト

Direct-policy World Action Models (WAM) have demonstrated the benefits of decoupling action generation from explicit future visual prediction for efficient inference in autonomous driving and embodied control. However, they still require tens of denoising steps to achieve competitive action quality, incurring substantial latency and hindering real-time deployment. Simply reducing the number of denoising steps will collapse the nonlinear multi-step denoising trajectory into coarse updates, substantially degrading action quality. To reduce the denoising steps while enabling real-time action generation, we present an effective world action model with one-step action generation, namely OSWAM, for autonomous driving and embodied control. We argue that it is the absence of structured action priors in random noise initialization that forces direct-policy WAMs to recover coherent action sequences through iterative denoising. Hence, we construct imagination tokens to initialize the diffusion process, providing physical priors and action-conditioned representations. We further introduce privileged information distillation with future conditioning to enhance future-aware action generation. As a result, OSWAM can efficiently and effectively generate high quality actions in just one diffusion step. Our experiments demonstrate that OSWAM achieves comparable or even better results in both autonomous driving and embodied control than direct-policy WAM and Joint-WAM that require tens of steps. It obtains approximately $3\times$ speedup over direct-policy WAM baselines and supports real-time compiled inference with latency as low as 40ms on an NVIDIA RTX 5090 GPU. The project page is available at https://gwenzhang.github.io/OSWAM/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI