日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.14351

タスク対応人間動画からの転移可能な世界行動モデルの学習

Learning Transferable World-Action Models from Task-Paired Human Videos

シェア:XThreadsFacebookLINEはてブBluesky

異なる環境で収集したタスク対応の人間実演ペアを用い、一方の動画と行動から他方の行動と未来フレームを予測するクロス動画事前学習WATCHを提案し、ロボット事後学習後の成功率を大きく改善した。

詳しい要約

1. どんなもの?

本論文は、タスクペア化された人間のデモンストレーション動画から、転移可能な world-action model を事前学習する手法 WATCH を提案する。 - 異なる環境で収集された人間のデモ動画ペアを用いる。 - 一方のデモの動画と action を条件に、他方のデモの action と未来フレームを現在の観測から同時予測する。 - 人間-人間ペアのみから学習し、人間-ロボットの対応デモを必要としない。 - ロボット post-training 後の MimicDroid in-context success を改善する。

2. 先行研究と比べてどこがすごい?

従来の video pre-training は同一動画内の次フレーム予測に依存し、context と future で共有される見た目に頼りがちだった。 - WATCH は cross-video 予測により、scene や embodiment をまたいで転移する task-relevant interaction の学習を促す。 - 人間-人間ペアのみで学習でき、matched human-robot demonstration を不要とする点が異なる。 - within-video pre-training や co-training baseline を上回る。

3. 技術・手法の肝は?

技術の肝は cross-video pre-training にある。 - タスクペア化された人間デモを多様な環境から収集する。 - 一方のデモの video と action を条件として、他方のデモの action と future frame をその current observation から jointly に予測する。 - これにより、見た目ではなくタスクに関連する interaction を学習させる。 - ロボット post-training と組み合わせて使う。

4. どうやって有効だと検証した?

ロボット post-training 前の分析と、post-training 後の評価で検証している。 - 事前学習前の分析で、embodiment 間の motion alignment 改善、未見ロボットでの action と video 予測の改善、robot pairs から学習した表現に近い表現を確認。 - post-training 後、MimicDroid in-context success が Cosmos Policy で 40.9% から 68.3%、Cosmos3 で 59.8% から 77.7% に向上。 - 未見レベルで最大の改善。 - context-free post-training でも robot embodiment をまたいで改善が持続。 - within-video pre-training と co-training baseline を上回る。

5. 議論はある?

要旨からは不明。 - 限界や失敗ケース、計算コスト、データ収集バイアスなどについての議論は要旨に記載がない。 - 主張は cross-video prediction が転移可能な world-action representation の学習にスケーラブルなアプローチであることを支持する点にある。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法を挙げる。 - within-video pre-training - co-training baseline - MimicDroid - Cosmos Policy - Cosmos3 - human-robot matched demonstrations を用いる手法 - world-action model の video pre-training

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeongeun Park, Taekyung Kim, Dongyoon Han, Sangdoo Yun

分類: cs.CV, cs.RO

原文アブストラクト

World-action models inherit broad visual and physical priors from video pre-training. However, standard within-video next-frame prediction allows them to rely on appearance shared between the context and future, rather than learning interactions that transfer across scenes and embodiments. We introduce WATCH, a cross-video pre-training that learns from task-paired human demonstrations collected across diverse environments. Conditioned on the video and actions of one demonstration, the model jointly predicts another demonstration's actions and future frames from its current observation. Predicting one demonstration from another encourages the model to learn task-relevant interactions that transfer across scenes and demonstrators. Our pre-training shows that these capabilities can be learned from readily scalable human-human pairs alone, without requiring matched human-robot demonstrations. Analyses before robot post-training show improved motion alignment across embodiments and better action and video prediction on unseen robots, with representations closer to those learned from robot pairs. After robot post-training, WATCH improves MimicDroid in-context success from 40.9% to 68.3% with Cosmos Policy and from 59.8% to 77.7% with Cosmos3, with the largest gains on the unseen levels. Gains persist under context-free post-training across robot embodiments. WATCH outperforms within-video pre-training and co-training baselines, supporting cross-video prediction as a scalable approach to learning transferable world-action representations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI