日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.13674

RepWAM: 表現型ビジュアル・アクショントークナイザによるワールドアクションモデリング

RepWAM: World Action Modeling with Representation Visual-Action Tokenizers

シェア:XThreadsFacebookLINEはてブBluesky

再構成ではなく意味的な視覚・行動の潜在空間を用いたワールドアクションモデルを提案し、実ロボット操作とシミュレーションで有効性を示した。

詳しい要約

1. どんなもの?

- 本論文は RepWAM を提案する。 - representation-centric な world action model (WAM)。 - representation visual-action tokenizer を基盤とする。 - 目的は、言語指示に従う操作のための world action modeling。 - 未来の視覚状態と、それらを結ぶ latent action を同時にモデル化。 - 実ロボットの closed-loop manipulation へ適応。 - 実世界操作タスクと simulation benchmark で評価。 - 多様な manipulation 設定で強い性能を示す。

2. 先行研究と比べてどこがすごい?

- 既存 WAM は pretrained video generation model 由来の reconstruction-oriented video tokenizer を継承。 - 視覚忠実度は保つが、pixel reconstruction だけでは instruction-following dynamics の学習に限定的。 - 本研究は semantic visual-action latent space を探索。 - reconstruction-oriented な代替手法より semantic visual-action tokenization が有効と ablation で示す。 - 貢献は representation visual-action tokenization を WAM の基盤として位置づける点。 - generalist robot policy への一歩と主張。

3. 技術・手法の肝は?

- representation visual-action tokenizer を学習。 - 視覚入力を aligned な visual token と latent action token に写像。 - WAM を pretrain。 - 言語指示の下で未来の視覚状態とそれらを結ぶ latent action を jointly にモデル化。 - その後、実ロボット軌道へ適応。 - closed-loop manipulation を実行。 - 詳細なアーキテクチャや学習目的は要旨からは不明。

4. どうやって有効だと検証した?

- 実世界 manipulation タスクで評価。 - simulation benchmark でも評価。 - 多様な manipulation 設定で強い性能を確認。 - ablation により semantic visual-action tokenization の価値を検証。 - reconstruction-oriented な代替との比較を含む。 - 具体的なタスク名・指標・数値は要旨からは不明。

5. 議論はある?

- semantic visual-action tokenization が WAM の有望な基盤であると主張。 - generalist robot policy への一歩と位置づけ。 - 限界や失敗事例、計算コスト、スケーリング性の議論は要旨からは不明。 - code と weights は公開予定。

6. 次に読むべき論文は?

- 要旨で参照/比較されているのは pretrained video generation model 由来の reconstruction-oriented video tokenizer と、その代替としての reconstruction-oriented alternatives。 - 関連手法として video generation model、video tokenizer、world model、robot policy が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junke Wang, Qihang Zhang, Shuai Yang, Yiming Luo, Yujun Shen, Zuxuan Wu, Yu-Gang Jiang, Yinghao Xu

分類: cs.CV

原文アブストラクト

This work presents RepWAM, a representation-centric world action model (WAM) built on representation visual-action tokenizers. Existing WAMs typically inherit reconstruction-oriented video tokenizers from pretrained video generation models. Although these tokenizers preserve visual fidelity, pixel reconstruction alone provides limited guidance for learning instruction-following dynamics that connect future prediction with robot control. To address this, we explore a semantic visual-action latent space for representation-centric world action modeling. Specifically, we train a representation visual-action tokenizer that maps visual inputs into aligned visual and latent action tokens. We then pretrain our WAM to jointly model future visual states and the latent actions that connect them under language instructions, followed by adaptation to real robot trajectories for closed-loop manipulation. Experiments on real-world manipulation tasks and simulation benchmarks show that RepWAM delivers strong performance across diverse manipulation settings, while ablations highlight the value of semantic visual-action tokenization over reconstruction-oriented alternatives. These results establish representation visual-action tokenization as a promising foundation for world action models and a step toward generalist robot policies. Code and weights will be available at https://github.com/wdrink/RepWAM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI