日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.34362

FutureDuet: 未来予測監督における観測アクセスの分離

FutureDuet: Decoupling Observation Access from Future Supervision in World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動生成において、メインカメラと手首カメラで異なる未来予測目標を与えることで、精密な操作タスクの成功率を向上させた研究。

詳しい要約

1. どんなもの?

- World Action Models (WAMs) において、main view と wrist view の future supervision を分離する手法 FutureDuet を提案。 - main view は future RGB で task evolution を、wrist view は future latent prediction で短期的な interaction 変化をモデル化。 - ActionDiT が Task State と Interaction State を統合して action を生成。 - 補助予測モジュールは training-only で推論時の overhead なし。

2. 先行研究と比べてどこがすごい?

- 既存 WAMs は main と wrist を単一の visual stream に融合し、同一の future-video 目的で学習していた。 - 両視点の視覚ダイナミクスの違いを無視していた点を指摘。 - FutureDuet は各視点に異なる future objective を割り当て、制御には両視点を保持。 - 特に精密な interaction を要する RoboTwin50 の6タスクで Fast-WAM に対し clean で 9.2%、randomized で 12.8% の改善。

3. 技術・手法の肝は?

- main view: future RGB に加え interaction masks と robot skeletons で task objects と robot motion に監督を集中。 - wrist view: future latent prediction により pixel-level reconstruction なしで短期的 interaction 変化をモデル化。 - ActionDiT が Task State と Interaction State を jointly に読み込み、scene-level progress と close-range interaction evidence を統合。 - 補助予測モジュールは学習時のみ使用。

4. どうやって有効だと検証した?

- RoboTwin50 で clean 94.2%、randomized 94.1% の success rate を達成。 - LIBERO で平均 99.2% の success rate。 - Fast-WAM との比較で、精密 interaction が必要な6タスクにおいて clean 9.2%、randomized 12.8% の平均改善。 - 制御実験により wrist pathway の分離と視点別 future supervision 設計の相補的効果を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Fast-WAM (比較対象として言及) - World Action Models (WAMs) の既存研究 - RoboTwin50, LIBERO (ベンチマーク)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jie Wu, Yuzhi Huang, Junqi Liu, Weichen Zhang, Haibin Huang, Yin Chen, Jingyan Jiang, Chi Zhang

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) augment robot action generation with future visual supervision. Existing WAMs commonly fuse main and wrist observations into one visual stream and train both with the same future-video objective, despite their different visual dynamics. A stable main camera reveals scene-level task evolution, whereas wrist cameras move with the end effector, mixing local interaction changes with viewpoint shifts and self-occlusion. These contrasting predictive demands suggest that the two views may benefit from different future objectives. We introduce FutureDuet, which retains both views for control, while allowing each visual stream to receive a different future objective. For the main view, future RGB models task evolution, while interaction masks and robot skeletons focus supervision on task objects and robot motion. For the wrist stream, future latent prediction models short-horizon interaction changes without requiring pixel-level reconstruction. ActionDiT jointly reads the resulting Task State and Interaction State, combining scene-level progress with close-range interaction evidence. All auxiliary prediction modules are training-only, adding no inference overhead. FutureDuet achieves 94.2% clean and 94.1% randomized success on RoboTwin50 and 99.2% average success on LIBERO. The improvements are most pronounced on six RoboTwin50 tasks that require precise interaction, averaging gains of 9.2% and 12.8% over Fast-WAM in clean and randomized settings. Controlled studies further show complementary gains from separating the wrist pathway and designing future supervision separately for the two views.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI