日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.13340

潜在ポリシーステアリング:身体性に依存しない事前学習済み世界モデルによる方策改善

Latent Policy Steering with Embodiment-Agnostic Pretrained World Models

シェア:XThreadsFacebookLINEはてブBluesky

オプティカルフローを身体性に依存しない行動表現として世界モデルを事前学習し、対象身体性の少量デモで微調整して、ベース方策の行動候補を評価・選択することで模倣方策を改善する手法を提案。

詳しい要約

1. どんなもの?

- 低データ状況下での visuomotor policy 改善を目的とした手法 Latent Policy Steering (LPS) の提案 - optical flow を embodiment-agnostic な action representation として用い、複数 embodiment(ロボット・人間)のデータで World Model (WM) を事前学習 - 対象 embodiment の少数 demonstration で WM を finetune し、base policy と value function を学習 - finetuned WM と value function で base policy の action candidate を評価・選択し性能向上

2. 先行研究と比べてどこがすごい?

- 大規模ロボット・人間データは embodiment gap と action space の不一致で活用が難しかった - optical flow を action representation に用いることで embodiment 間の視覚的類似性を捉え、複数 embodiment のデータを横断利用可能に - WM は dynamics のモデリングに集中するため sub-optimal データも活用できる点を利用 - behavior cloning ベースラインに対し低データ領域で改善(Robomimic 4 タスク平均 10.6%、実世界で相対 70%/44%)

3. 技術・手法の肝は?

- optical flow を embodiment-agnostic action representation として WM を事前学習 - 対象 embodiment の小規模 demonstration で WM を finetune し予測を整合 - base policy を訓練し、頑健な value function を学習 - finetuned WM と value function を用いて base policy の action candidate を評価し最良を選択(policy steering)

4. どうやって有効だと検証した?

- 4 つの Robomimic タスクで behavior-cloned policy を平均 10.6% 改善(事前学習データの大半が実世界由来でも) - 実世界実験で behavior-cloned ベースライン比、30-50 demonstration で相対 70% 改善、60-100 demonstration で相対 44% 改善 - 定性結果をプロジェクトページで公開

5. 議論はある?

- 事前学習データの大半が実世界由来でも Robomimic で改善が見られた点を報告 - 実世界では demonstration 数により改善幅が変化(30-50 で 70%、60-100 で 44%) - 限界や失敗事例、計算コストなどの詳細は要旨からは不明

6. 次に読むべき論文は?

- World Models を用いた model-based な policy 改善(例: Dreamer 系) - optical flow を action representation とする embodiment-agnostic 学習 - behavior cloning と value function による action selection/steering 関連手法 - Robomimic ベンチマーク関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiqi Wang, Mrinal Verghese, Jeff Schneider

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

The performance of learned robot visuomotor policies is heavily dependent on the size and quality of the training dataset. Although large-scale robot and human datasets are increasingly available, embodiment gaps and mismatched action spaces make them difficult to leverage. Our main insight is that skills performed across different embodiments produce visual similarities in motions that can be captured using off-the-shelf action representations such as optical flow. Moreover, World Models (WMs) can leverage sub-optimal data since they focus on modeling dynamics. In this work, we aim to improve visuomotor policies in low-data regimes by first pretraining a WM using optical flow as an embodiment-agnostic action representation to leverage accessible or easily collected data from multiple embodiments (robots, humans). Given a small set of demonstrations on a target embodiment, we finetune the WM on this data to better align the WM predictions, train a base policy, and learn a robust value function. Using our finetuned WM and value function, our approach evaluates action candidates from the base policy and selects the best one to improve performance. Our approach, which we term Latent Policy Steering (LPS), improves behavior-cloned policies by 10.6% on average across four Robomimic tasks, even though most of the pretraining data comes from the real world. In the real-world experiments, LPS achieves larger gains: 70% relative improvement with 30-50 target-embodiment demonstrations, and 44% relative improvement with 60-100 demonstrations, compared to a behavior-cloned baseline. Qualitative results can be found on the website: https://yiqiwang8177.github.io/LatentPolicySteering/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI