日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.13740

SmolWAM: エッジデバイス向けロボット操作のための潜在ワールドアクションモデル

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

シェア:XThreadsFacebookLINEはてブBluesky

大規模モデルの事前学習済み部分を再利用し軽量化した潜在ワールドアクションモデルで、エッジデバイス上でも高速にロボット操作を実現した。

詳しい要約

1. どんなもの?

- ロボット操作向けの World-Action Model (WAM) である SmolWAM を提案 - 2B パラメータの Cosmos Policy から派生させた latent WAM - エッジデバイス上での動作を想定し、計算コストを大幅に削減 - 行動と将来の観測を同時に予測するモデル

2. 先行研究と比べてどこがすごい?

- 従来の最強モデルは video diffusion transformer に依存し、エッジデバイスには計算コストが高すぎた - SmolWAM は teacher モデルと比べて 11 倍高速、FLOPs は 18.5 分の 1、メモリは 3.2 分の 1 - 3.6 GPU 時間で訓練可能であり、リソース制約下でも高い性能を実現

3. 技術・手法の肝は?

- Cosmos Policy の pretrained trunk を保持し、推論インターフェースを再構築 - 単一フレームの視覚 latent、trunk の attention sink を保持するキャッシュされたテキスト特徴 - 28 個の transformer block のうち 12 個を使用 - 1,008 トークンから行動と将来の視覚 latent を 1 回の rectified-flow step で読み出す

4. どうやって有効だと検証した?

- LIBERO の 400 エピソードで 95.5% の成功率を達成 - 16 行動チャンクあたり 57 ms、2.3 TFLOP、GPU メモリ 2.4 GiB で動作 - world head がシーン運動を予測できることも確認

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- Cosmos Policy - video diffusion transformer を用いた WAM - LIBERO ベンチマーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Timi Owolabi, Hikmah Olawore, Frances Adelakun, Ayotomiwa Oyewumi

分類: cs.RO, cs.LG

原文アブストラクト

World-action models (WAMs) predict a robot's actions together with the observations those actions will produce. However, the strongest models rely on video diffusion transformers that are far too computationally expensive for resource-constrained edge devices. We present SmolWAM, a latent WAM that we derive from the 2B-parameter Cosmos Policy by keeping its pretrained trunk and rebuilding its inference interface: single-frame visual latents, cached text features that preserve the trunk's attention sinks, 12 of 28 transformer blocks, and 1,008 tokens from which actions and future visual latents are read out in one rectified-flow step. Trained in 3.6 GPU-hours, SmolWAM succeeds in 95.5% of 400 LIBERO episodes at 57 ms and 2.3 TFLOP per 16-action chunk with 2.4 GiB of GPU memory, 11x faster than its teacher with 18.5x fewer FLOPs and 3.2x less memory, and its world head still forecasts scene motion.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI