日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.02365

Faster-WAM: 世界行動モデルに深い行動モジュールは必要か?

Faster-WAM: Do World Action Models Need Deep Action Modules?

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ世界モデルと行動予測を組み合わせたWorld Action Models (WAMs)の計算負荷を減らすため、事前学習済みビデオTransformerを表現ハブとし、軽量な出力ヘッドをドッキングする新しい設計原理DoTを提案し、単層行動ヘッドを30層ビデオバックボーンに接続したFaster-WAMを実装。低遅延で競争力のある性能と汎化を実証した。

詳しい要約

1. どんなもの?

本論文は、World Action Models (WAMs) のアーキテクチャ設計に関する研究である。WAMsはロボットの行動予測とビデオ世界モデルを結合するが、既存の共有バックボーンやMixture-of-Transformers設計では、行動モジュールの深さがビデオバックボーンに縛られ、計算コストと推論遅延が大きい。そこで、ビデオ中心の設計原理であるDock of Transformer (DoT) を提案し、その具体化としてFaster-WAMを導入する。Faster-WAMは、30層のビデオバックボーンに単層の行動ヘッドをドッキングし、全層のキーとバリューを融合してRoPE再調整を行う。追加の具現化事前学習なしで、LIBEROとRoboTwin 2.0で競争力のある性能を達成し、LIBERO-Plusで強い分布外汎化を示す。また、制御比較で最低のエンドツーエンド遅延(66.5 ms/推論)を達成し、Fast-WAM比3.2倍の高速化を実現した。

2. 先行研究と比べてどこがすごい?

先行研究のWAMsは、共有バックボーンやMixture-of-Transformers設計により、行動モジュールの深さがビデオバックボーンに依存し、計算オーバーヘッドと推論遅延が大きかった。本研究の革新性は、ビデオ中心の設計原理DoTを導入し、事前学習済みビデオTransformerを表現ハブとして、軽量な出力ヘッドをドッキングインターフェースで接続することで、出力ヘッドの設計を柔軟にしつつ、バックボーンの全層の表現に直接アクセスできるようにした点である。これにより、行動モジュールの深さを浅くしても性能を維持でき、大幅な遅延削減を実現した。

3. 技術・手法の肝は?

技術の肝は、Dock of Transformer (DoT) 設計原理とその具体化であるFaster-WAMにある。DoTは、事前学習済みビデオTransformerを表現ハブとし、ドッキングインターフェースを介して軽量な出力ヘッドを接続する。ドッキングインターフェースは、ビデオバックボーンの全層からのキーとバリューを融合し、RoPE再調整を適用する。Faster-WAMは、30層のビデオバックボーンに単層の行動ヘッドをドッキングする。これにより、行動ヘッドはバックボーンの全層の表現を利用でき、深い行動モジュールを必要とせずに高い性能を発揮する。

4. どうやって有効だと検証した?

有効性の検証は、LIBERO、RoboTwin 2.0、LIBERO-Plusの各ベンチマークで行われた。追加の具現化事前学習なしで、LIBEROとRoboTwin 2.0で競争力のある性能を達成し、LIBERO-Plusで強い分布外汎化を示した。また、制御比較でエンドツーエンド遅延を測定し、66.5 ms/推論という最低遅延を達成し、Fast-WAM比3.2倍の高速化を確認した。

5. 議論はある?

要旨からは、議論の詳細は不明であるが、ビデオ中心のDoTアーキテクチャが柔軟なタスク固有ヘッド設計をサポートし、低推論遅延、強い行動予測性能、堅牢な汎化を実現することが示された。一方で、単層の行動ヘッドで十分な性能を発揮する理由や、より複雑なタスクでの限界については要旨からは不明である。また、ドッキングインターフェースの設計(全層のキーとバリューの融合、RoPE再調整)の詳細な影響や、他のバックボーンへの適用可能性についても議論の余地がある。

6. 次に読むべき論文は?

要旨で参照されている研究は、Fast-WAM(比較対象)と既存のWAMs(共有バックボーン、Mixture-of-Transformers設計)である。次に読むべき論文としては、Fast-WAMの詳細、およびWAMsの基盤となるビデオ世界モデルやロボット行動予測の関連研究が挙げられる。具体的には、ビデオ世界モデルを用いたロボット学習の定番手法(例:Video World Models)や、Transformerベースの行動予測モデル(例:Action Transformer)などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liheng Ma, Rui Heng Yang, Zhanguang Zhang, Mateo Clemente, Ziwen Hu, Tongtong Cao, Yingxue Zhang

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

World Action Models (WAMs) couple robot action prediction with video world models. Existing WAMs with shared-backbone and Mixture-of-Transformers designs generally tie the depth of the action module to that of the video backbone, resulting in substantial computational overhead and high inference latency. To address this limitation, we introduce Dock of Transformer (DoT), a video-centric design principle that treats a pretrained video Transformer as a representation hub and connects lightweight output-heads through docking interfaces. This enables flexible output-head design while providing direct access to representations from all layers of the backbone. We then introduce \textbf{Faster-WAM}, an instantiation of DoT for WAMs, which docks a single-layer action head onto a 30-layer video backbone. The docking interface fuses keys and values from all video layers and applies RoPE realignment. Without additional embodied pretraining, Faster-WAM achieves competitive performance on LIBERO and RoboTwin 2.0 while demonstrating strong out-of-distribution generalization on LIBERO-Plus. Faster-WAM also achieves the lowest end-to-end latency in our controlled comparison, requiring only 66.5 ms per inference --- a \(3.2\times\) speedup over Fast-WAM. Overall, these results demonstrate that the video-centric DoT architecture supports flexible task-specific head design while delivering low inference latency, strong action-prediction performance, and robust generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI