日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.00725

SelfWAM: 自己接地型統一ワールドアクションモデルによる高速ロボット制御

SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動と将来の観測を同時に予測する統一モデルを提案し、行動条件付きの将来予測を自己マスクで接地することで、ポリシー学習の性能を向上させた。

詳しい要約

1. どんなもの?

SelfWAMは、ロボットのポリシー学習を改善するための統一された自己接地型World Action Model (WAM)である。モダリティ特化型のMixture-of-Transformers (MoT)アーキテクチャに基づき、アクション、アクション条件付きの将来RGBフレーム、およびロボットの自己マスクを同時に予測する。これにより、将来予測をロボットの可視的な身体とそのアクション誘発運動に接地させる。

2. 先行研究と比べてどこがすごい?

従来のWAMは、将来予測をタスクプロンプトと観察コンテキストのみに条件付けるため、実行されたアクションの具体的な結果ではなく、一般的なタスク進行を捉えるリスクがあった。SelfWAMは、クリーンなアクション条件付けと将来の自己マスク予測を導入することで、将来予測がアクション固有の結果をより直接反映するようにし、ポリシー性能を向上させつつ高速な推論を維持する点が優れている。

3. 技術・手法の肝は?

手法の肝は、MoTアーキテクチャを用いて、アクション、将来RGBフレーム、ロボット自己マスクを共同で予測することである。訓練中、将来の視覚クエリはデモンストレーションされたアクションのクリーンなコピーにアテンションでき、ビデオブランチをアクション固有の結果モデルにする一方、アクションのみの高速推論パスは変更しない。さらに、プロンプト固有の目的関数を用いて将来の自己マスク予測を行い、外観の詳細を除去し、時間的進化が条件付けアクションと密接に結合したターゲットを提供する。

4. どうやって有効だと検証した?

RoboTwin 2.0と実世界の操作タスクで実験を行い、SelfWAMがよりアクションに敏感な将来予測を生成し、高速なポリシー推論を維持しながらポリシー性能を向上させることを示した。

5. 議論はある?

要旨からは、議論の詳細は不明である。ただし、将来予測のアクション感度が向上した一方で、自己マスク予測の追加が計算コストや訓練の複雑さに与える影響、また異なるロボット形態やタスクへの一般化可能性などが議論の対象となる可能性がある。

6. 次に読むべき論文は?

要旨で参照されているRoboTwin 2.0データセットに関する論文、およびWorld Action Models (WAMs)の基礎となる研究。また、Mixture-of-Transformers (MoT)アーキテクチャや自己マスク予測を用いた関連手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bikang Pan, Fan Liu, Haotao Lu, Jingya Wang, Ye Shi

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) improve robot policy learning by jointly modeling actions and future observations. However, conditioning future prediction only on the task prompt and observation context risks capturing generic task progression rather than the action-specific consequences of the executed action. We introduce SelfWAM, a unified self-grounded WAM built on a modality-specialized Mixture-of-Transformers (MoT) architecture that jointly predicts actions, action-conditioned future RGB frames, and robot self-masks, thereby grounding future prediction in the robot's visible body and its action-induced motion. During joint training, SelfWAM allows future visual queries to attend to a clean copy of the demonstrated action, turning the video branch into an action-specific consequence model while leaving the fast action-only inference path unchanged. To focus video learning on action-relevant visual changes, we use prompt-specific objectives for future robot self-mask prediction, which removes appearance details and provides a target whose temporal evolution is tightly coupled with the conditioning action. Together, clean-action conditioning and future self-mask supervision make future predictions more directly reflect how the executed action changes the robot's visible motion and the surrounding scene. Experiments on RoboTwin 2.0 and real-world manipulation tasks show that SelfWAM produces more action-sensitive futures and preserves fast policy inference, while improving policy performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI