日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.34250

WAM-OPD: オンポリシー蒸留によるワールドアクションモデルの高性能化

WAM-OPD: Sharpening World Action Models via On-Policy Distillation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みワールドアクションモデルを、環境ロールアウトを繰り返さずにオンポリシー蒸留で専門タスクに適応させる手法WAM-OPDを提案。

詳しい要約

1. どんなもの?

- 事前学習済みのWorld Action Models (WAMs) を対象に、On-Policy Distillation (OPD) を適用するWAM-OPDを提案。 - 目標タスクの性能を専門家レベルに引き上げつつ、事前学習スキルを維持することを目指す。 - 蒸留中に追加の環境インタラクションを必要としない。

2. 先行研究と比べてどこがすごい?

- 従来のOPDは学生の分布下で教師知識を転移するが、閉ループ操作では観測履歴が変化するため、繰り返しの環境ロールアウトが必要でコストが高い。 - WAM-OPDはPrefix-Weighted Trajectory Replay (PWTR) を導入し、固定された軌道プールからリプレイすることで、蒸留中の追加環境インタラクションを回避。 - これにより、シミュレーションと実世界の両方で、適応タスクの性能を向上させつつ、適応外タスクの性能をほぼ初期のまま維持できる。

3. 技術・手法の肝は?

- Prefix-Weighted Trajectory Replay (PWTR) を導入。 - 固定された軌道プール(主に初期学生のロールアウトと、タスク特化教師のロールアウトで構成)から軌道をリプレイ。 - 各軌道に対して、保存された履歴に基づいて現在のポリシーを条件付け、新たなデノイジングパスを生成。 - そのパスに沿ってタスク特化教師が監督を提供。 - ポリシーの進化に伴いデノイジングパスは更新されるが、環境軌道は固定。 - 履歴分布のシフトを緩和するため、各決定の前に蓄積されたパススコアから導出されるプロキシ重要度重みを用いて、決定ごとの蒸留損失を再重み付け。

4. どうやって有効だと検証した?

- シミュレーションと実世界の実験を実施。 - 蒸留中に追加の環境インタラクションなしでタスク適応が可能であることを示す。 - 両設定で、WAM-OPDが目標タスクの性能を向上させ、適応から除外されたタスクではほぼ初期性能を維持することを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、World Models、On-Policy Distillation (OPD)、Imitation Learning、Reinforcement Learning from Human Feedback (RLHF) などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Panjun Liu, Xiaohan Lei, Shiqi Zhang, Yikun Wang, Yongxin Zhang, Mingyi Hu, Shida Sun, Jiateng Shou, Wengang Zhou, Jiajun Deng, Zhiwei Xiong

分類: cs.RO, cs.AI

原文アブストラクト

Pretrained world action models (WAMs) provide generalist capabilities across diverse robotic manipulation tasks, yet improving target-task performance to an expert level without degrading pretrained skills remains challenging. We explore on-policy distillation (OPD) for WAMs and introduce WAM-OPD. WAM-OPD inherits the advantage of OPD methods that transfer task-specific teacher knowledge under the student's own induced distribution, rather than directly fitting the student to a narrow task-specific data distribution. However, in closed-loop manipulation, the observation histories change as the student policy evolves, requiring fresh environment rollouts to remain on-policy. Applying OPD to WAMs entails repeated data collection, which is costly even in simulation and often impractical on real robots. To avoid repeated environment rollouts during distillation, we introduce prefix-weighted trajectory replay (PWTR). PWTR uses a fixed trajectory pool composed primarily of initial-student rollouts, supplemented with task-specific teacher rollouts to broaden trajectory coverage. For each trajectory replayed from this pool, PWTR conditions the current policy on successive stored histories to generate fresh denoising paths, along which the task-specific teacher provides supervision. Although these denoising paths are refreshed as the policy evolves, the replayed environment trajectories remain fixed. PWTR therefore reweights per-decision distillation losses using proxy importance weights derived from path scores accumulated over the trajectory prefix preceding each decision to mitigate the resulting shift in the history distribution. Simulated and real-world experiments demonstrate task adaptation without additional environment interaction during distillation. In both settings, WAM-OPD improves target-task performance while retaining near-initial performance on tasks excluded from adaptation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI