日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.39324

MotionWeave: 動作中心の未来ダイナミクスを学習する視覚-言語-行動ポリシー

MotionWeave: Learning Motion-Centered Future Dynamics for Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

動作に関連する局所的な視覚変化を未来フレームから抽出し、それを行動トークンに注入することで、視覚-言語-行動モデルの行動予測精度を向上させる手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの新しいフレームワーク MotionWeave を提案。 - 未来の動きに焦点を当てた future-dynamics を学習し、action-chunk 予測を行う。 - 2つのモジュール: Action-Induced Motion Grounder (AIMG) と Horizon Residual Composer (HRC) から構成。 - 6つの MetaWorld タスクで平均成功率 75.3% を達成。

2. 先行研究と比べてどこがすごい?

- 従来の world model を用いた VLA は未来の画像や動画を予測し、制御に無関係な外観情報を含む可能性があった。 - また、全体的な未来視覚表現や共有されたグローバル行動特徴からのガイダンスでは、行動と局所的な視覚変化のタイムステップごとの対応が不十分だった。 - MotionWeave は motion-centric なアプローチでこれらの問題に対処し、π0 (66.7%) に対して 8.6% の絶対的改善を達成。 - 特に持続的なインタラクションタスクで優れる。

3. 技術・手法の肝は?

- AIMG: 行動と固有受容感覚表現を条件とし、各未来行動タイムステップに関連するインタラクション領域を現在の視覚トークンから特定する horizon-specific クエリを構築。 - HRC: 隣接する horizon のインタラクション表現間の差分を抽出し、時間的運動キューとしてエンコード。 - ゲート付き残差を通じて行動トークンに注入。 - 訓練時: 未来フレームからレンダリングされたロボットアームマスクを用いて KL ベースの motion-grounding 監督を構築。 - 推論時: 現在の観測のみを使用。

4. どうやって有効だと検証した?

- 6つの MetaWorld タスクで評価。 - 平均成功率 75.3% を達成し、π0 の 66.7% を上回る。 - 特に持続的インタラクションタスクで有効性を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- π0 (ベースラインとして比較) - world model を用いた VLA モデル (一般的な関連手法) - MetaWorld タスク (ベンチマーク)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingqiu Wang, Yan Wang

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models have recently incorporated world models to provide richer dynamic supervision beyond sparse action labels. However, explicitly predicting future images or videos may include control-irrelevant appearance, while guidance derived from holistic future visual representations and shared global action features may fail to establish timestep-specific correspondence between actions and local visual changes. To address this issue, we propose MotionWeave, a motion-centric future-dynamics framework for action-chunk prediction with two modules: the Action-Induced Motion Grounder (AIMG) and the Horizon Residual Composer (HRC). Specifically, AIMG conditions on action and proprioceptive representations to construct horizon-specific queries that localize interaction regions associated with each future action timestep from current visual tokens. HRC extracts differences between interaction representations at adjacent horizons, encodes them as temporal motion cues, and injects them into action tokens through a gated residual. During training, robot-arm masks rendered from future frames are used to construct KL-based motion-grounding supervision, while inference uses only the current observation. On six MetaWorld tasks, MotionWeave achieves a 75.3% average success rate, an absolute gain of 8.6% over π0 (66.7%), especially on sustained-interaction tasks. Our code is available at https://github.com/autu-mn/MotionWeave.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI