日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2607.04927

DSWAM: 細粒度ロボット操作のための二重システム世界行動基盤モデル

DSWAM: A Dual-System World Action Foundation Model for Fine-Grained Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

粗い指示を細かいサブタスクに分解する言語プランナーと、物理的実行に優れた世界行動モデルを組み合わせた、ロボット操作のための二重システム基盤モデルを提案した。

詳しい要約

1. どんなもの?

DSWAMは、細粒度のロボット操作のためのDual-System World Action Foundation Modelである。System 1のWAM executorをデフォルトの制御経路とし、タスク分解が有用な場合にのみSystem 2のvision-language subtask plannerを活性化する。plannerは短期的な視覚履歴とグローバルなタスクプロンプトから実行可能なサブタスクを予測し、executorは各命令またはサブタスクに対してworld-awareなアクション生成を行う。executorはアクション予測とビデオ共同トレーニングで訓練されるが、推論時は明示的な将来ビデオ生成なしでアクションチャンクを直接予測する。実ロボットでの実用性を高めるため、TensorRT acceleration、非同期実行、リアルタイムチャンキング(RTC)を統合し、ポリシークエリがロボット制御をブロックしないようにしている。

2. 先行研究と比べてどこがすごい?

既存のWAMは物理的に接地された実行に優れるが、VLMベースのVLAが持つような明示的な言語レベルの計画インターフェースを欠き、粗い指示を分解できない。DSWAMは、デュアルシステムアーキテクチャにより、WAMの実行能力を維持しつつ、必要な場合にのみ言語ベースのサブタスク計画を追加することで、この分解ギャップを埋める。また、既存のVLAとWAMの比較はデータ、ロボットプラットフォーム、タスクプロトコルが異なるため不公平であったが、DSWAMはDeMaVLA設定を用いて、ロボットプラットフォーム、事前学習データ、ポストトレーニングデータ、評価基準を一致させた公平な実ロボット比較を提供する点が新しい。

3. 技術・手法の肝は?

手法の肝は、デュアルシステムアーキテクチャと、実行経路の実用性を高める最適化にある。System 1のWAM executorは、アクション予測とビデオ共同トレーニングで訓練され、推論時には将来ビデオ生成なしでアクションチャンクを直接予測する。System 2のplannerは、短期的な視覚履歴とグローバルなタスクプロンプトからサブタスクを予測し、必要に応じてexecutorに指示を与える。実ロボット展開のため、TensorRT acceleration、非同期実行、リアルタイムチャンキング(RTC)を統合し、ポリシークエリのブロッキングを防ぐ。

4. どうやって有効だと検証した?

DeMaVLAの実世界変形可能物体操作設定を用いて、ロボットプラットフォーム、事前学習データ、ポストトレーニングデータ、評価基準を一致させた上で、VLAポリシーとの公平な比較を行った。具体的な評価指標や結果は要旨からは不明だが、この設定下でDSWAMの有効性を検証したと述べられている。

5. 議論はある?

要旨からは、DSWAMがWAMとVLAの比較における公平性の問題に対処し、分解ギャップを埋めることを示しているが、具体的な議論や限界については不明。例えば、System 2のplannerが常に必要ではないという条件の判断方法や、RTCの効果などについての詳細は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されているDeMaVLA設定に関連する研究、およびWorld Action Models (WAMs)やVision-Language-Action (VLA)ポリシーに関する基礎論文が次に読むべきと考えられる。具体的には、DeMaVLAの元論文や、WAMの代表的な手法、VLMベースのVLAモデルなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jian Zhu, Jianjun Zhang, Taiyi Su, Tianbin Liu, Zhangyuan Wang, Kai Xie, Zitai Huang, Chong Ma, Youzhang He, Tianjian Wang, Hanyang Wang, Weihao Ding, Yi Xu

分類: cs.RO, cs.AI

原文アブストラクト

World Action Models (WAMs) provide a promising alternative to Vision-Language-Action (VLA) policies by using video-based world modeling as dense supervision for robot action learning. Existing WAMs excel at physically grounded execution, but typically lack the explicit language-level planning interface in VLM-based VLAs for decomposing coarse instructions. Such decomposition becomes important when household tasks involve complex multi-step goals, where coarse user commands need to be converted into sequences of fine-grained executable subtasks. Meanwhile, the field still lacks a fair real-robot comparison between VLA and WAM execution capabilities, since existing systems often differ in data, robot embodiments, and task protocols. To address both the decomposition gap and the need for a controlled WAM-VLA comparison, we introduce DSWAM, a Dual-System World Action Foundation Model for fine-grained robot manipulation. DSWAM keeps a System 1 WAM executor as the default control path and optionally activates a System 2 vision-language subtask planner only when task decomposition is useful. The planner predicts executable subtasks from short-term visual history and a global task prompt, while the WAM executor performs world-aware action generation for each instruction or subtask. The executor is trained with action prediction and video co-training, but inference directly predicts action chunks without explicit future video generation. To make this execution path practical on real robots, we further integrate TensorRT acceleration, asynchronous execution, and real-time chunking (RTC) so that policy queries do not block robot control. To provide a fair real-robot comparison with VLA policies, we build and evaluate DSWAM under the DeMaVLA real-world deformable manipulation setting with matched robot platform, pretraining data, post-training data, and evaluation criteria.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI