日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.14746

BridgeWAM: 潜在ブリッジクエリによる映像・行動エキスパートの橋渡し

BridgeWAM: Bridging Video and Action Experts via Latent Bridge Queries

シェア:XThreadsFacebookLINEはてブBluesky

映像と言語・固有感覚の情報を32個の潜在ブリッジクエリで共有空間に集約し、超軽量な行動ヘッドで高精度かつ高速なロボット操作を実現した手法。

詳しい要約

1. どんなもの?

- World Action Models (WAMs) において video expert と action expert を統合する新手法 Bridge-of-Experts (BoE) を提案。 - 具体例として BridgeWAM を構築。 - 32 個の Latent Bridge Queries (LBQs) を介して visual, language, proprioceptive の事前情報を共有潜在空間に集約。 - 5.06B モデルで 30 層 Video Expert と 2 層 Action Expert を実現。 - LIBERO で 98.25%、LIBERO-Plus で 72.24% の成功率を達成。

2. 先行研究と比べてどこがすごい?

- 従来の WAMs は dense な layer-wise Mixture-of-Transformers (MoT) attention で video と action expert を結合。 - これに対し BoE は LBQs を介した疎な結合により、action 予測が無関係な視覚特徴に晒されるのを防ぐ。 - expert の深さを一致させる制約を排除し、Video Expert を 30 層、Action Expert を 2 層と非対称に構成可能。 - Fast-WAM と比較して、単一サンプル推論 FLOPs を 28.72% 削減、実機レイテンシを 77.1 ms に短縮(2.47 倍高速化)。

3. 技術・手法の肝は?

- Latent Bridge Queries (LBQs) を 32 個用い、visual, language, proprioceptive の事前情報を共有潜在空間に集約。 - 統合 video-action 監督により、action 勾配が Video Expert を action 予測に適した表現へ導く。 - Action Expert は cross-attention を通じてタスク関連情報を選択的に取得。 - expert の深さを分離し、action denoising 中に LBQs を再利用。 - これにより超軽量な action head を実現。

4. どうやって有効だと検証した?

- LIBERO ベンチマークで 98.25% の成功率を達成。 - LIBERO-Plus で 72.24% の pooled success を記録。 - アブレーションにより joint representation adaptation と unified LBQ conditioning の有効性を支持。 - シミュレーションでのプロファイリングで FLOPs 削減を確認。 - 実機実験でレイテンシ 77.1 ms を測定。 - 定性的結果として、摂動下でもターゲット物体とタスク目的地への優先的 attention を示唆。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Fast-WAM(比較対象として明示) - Mixture-of-Transformers (MoT) を用いた WAMs(関連手法) - LIBERO, LIBERO-Plus(ベンチマーク)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxin Fang, Ruitong Liu, Zeyu Lai, Xingyu Wang, Mingyuan Jia, Pingyue Sheng, Weikang Wan, Mengdi Xu, Yuxiang Gao

分類: cs.RO, cs.CV

原文アブストラクト

World Action Models (WAMs) commonly couple video and action experts through dense, layer-wise Mixture-of-Transformers (MoT) attention, exposing action prediction to irrelevant visual features while enforcing matched expert depths. This coupling hinders selective visual-feature use and introduces redundant computation. We introduce Bridge-of-Experts (BoE), instantiated as BridgeWAM, which aggregates visual, language, and proprioceptive priors through 32 Latent Bridge Queries (LBQs) into a shared, limited latent space. Joint video-action supervision lets action gradients guide the Video Expert toward representations better suited for action prediction, while the Action Expert learns to selectively retrieve task-relevant information through cross-attention. Decoupling expert depths and reusing LBQs during action denoising yield a 5.06B model with a 30-layer Video Expert and a two-layer Action Expert, achieving 98.25% success on LIBERO and 72.24% pooled success on LIBERO-Plus, demonstrating effective task execution and strong generalization with an ultralight action head. Ablations support joint representation adaptation and unified LBQ conditioning. Relative to Fast-WAM, BridgeWAM reduces single-sample inference FLOPs by 28.72% in simulation profiling and real-robot latency to 77.1 ms (a 2.47-fold speedup). Qualitative experimental results further indicate preferential attention to target objects and task destinations across perturbations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI