日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2608.00793

DynamicWAM: 動的操作におけるワールドアクションモデルのためのデュアルパス動作条件付け

DynamicWAM: Dual-Path Motion Conditioning for World-Action Models in Dynamic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

動的な物体操作のためのコンパクトなワールドアクションモデルを提案し、履歴フロー条件付けと運動学的記述子の注入により動作認識と応答性を向上させた。

詳しい要約

1. どんなもの?

DynamicWAMは、動的物体操作のためのコンパクトなWorld-Action Model (WAM)であり、履歴フロー条件付けと運動学的記述子の2つの経路を統合することで、動的シーンにおけるロボットの動作認識と応答制御を向上させる。

2. 先行研究と比べてどこがすごい?

既存のWAMは現在のフレームのみに条件付けし、大規模なバックボーンを同期実行するため、動的シーンでの動作認識と応答制御が限定的である。DynamicWAMは、時間的に整列したオプティカルフローフレームを凍結済みの事前学習済みビデオVAEで符号化して空間的動作構造を保持し、変位・持続時間・速度・加速度の運動学的記述子をアクションエキスパートに注入することで、動作の大きさとタイミングを提供する。さらに、蒸留によるコンパクトなバックボーンとリアルタイムチャンキング(RTC)に基づく非同期実行により、応答性の高い制御を実現する。

3. 技術・手法の肝は?

手法の核心は、デュアルパス動作条件付けである。第1の経路は履歴フロー条件付けで、現在の観測と時間的に整列したオプティカルフローフレームを凍結済みの事前学習済みビデオVAEで符号化し、空間的動作構造を保持する。第2の経路は、変位・持続時間・速度・加速度の運動学的記述子をアクションエキスパートに注入し、動作の大きさとタイミングを提供する。これら2つの相補的な経路は、ジョイントワールドアクションアテンションによって融合される。さらに、蒸留によるコンパクトなバックボーンとRTCベースの非同期実行により、応答性の高い制御を実現する。

4. どうやって有効だと検証した?

DOMINOベンチマークで評価し、成功率38.2%、操作スコア53.2を達成し、すべての評価ベースラインを上回った。また、直線・円形・複合的なターゲット動作を含む12の実世界タスクで平均成功率46.7%を達成し、最強のベースラインを22.9ポイント上回った。

5. 議論はある?

要旨からは、議論や限界についての詳細は不明である。ただし、提案手法が動的操作における動作認識と応答制御の改善を示す一方で、実世界の多様なシナリオへの一般化や、より複雑な動的環境での性能についてはさらなる検証が必要と考えられる。

6. 次に読むべき論文は?

要旨で参照されているWorld-Action Models (WAMs)や、動的操作に関する関連研究。具体的には、DOMINOベンチマークを提案した論文や、オプティカルフローを用いた動作予測、ビデオVAEを用いた表現学習、リアルタイムチャンキング(RTC)を用いた非同期制御に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunfan Lou, Hewen Gao, Xiyu Zhu, Zhuoran Qiao, Xuan Han, Yifan Yang, Yifan Ye, Boxian Yao, Zhibo Pang

分類: cs.RO

原文アブストラクト

Dynamic manipulation requires robots to infer target motion and respond promptly, yet existing World-Action Models (WAMs) typically condition only on the current frame and execute large backbones synchronously, limiting motion awareness and responsive control in dynamic scenes. We propose DynamicWAM, a compact WAM for dynamic object manipulation with dual-path motion conditioning. DynamicWAM introduces history-flow conditioning, encoding temporally aligned optical-flow frames alongside the current observation through a frozen pretrained video VAE to preserve spatial motion structure, while injecting kinematic descriptors of displacement, duration, velocity, and acceleration into the action expert to provide motion magnitude and timing. The two complementary paths are fused through joint world-action attention. A distilled compact backbone and real-time chunking (RTC)-based asynchronous execution further enable responsive control. On DOMINO, DynamicWAM achieves a 38.2% success rate and a 53.2 manipulation score, outperforming all evaluated baselines. Across 12 real-world tasks spanning linear, circular, and compound target motion, it achieves a 46.7% average success rate, exceeding the strongest baseline by 22.9 percentage points.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI