日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.19580

PAPO-VLA: 計画を考慮した視覚言語行動モデルのポリシー最適化

PAPO-VLA: Planning-Aware Policy Optimization for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの実行を計画と実行の二役に分解し、計画アクションを特定して重要度を推定し、GRPOの利点推定に組み込むことで、タスク成功に重要な行動を重点的に最適化する手法を提案した。

詳しい要約

1. どんなもの?

- VLAモデルは言語誘導ロボットタスクで有望だが、閉ループ相互作用のため信頼性が課題。 - 各行動が後続実行に影響するため、VLAポリシーを再検討。 - VLAポリシーはタスク指向の決定を行うplannerと、密な連続行動で実現するexecutorの両面を持つと主張。 - 信頼性向上にはplanning actionsへの注目が必要。 - 既存最適化は行動模倣や軌跡改善を行うが、planning actionsの特定や重要度測定を明示的に行わない。 - そこでPlanning-Aware Policy Optimization for VLA models (PAPO-VLA)を提案。

2. 先行研究と比べてどこがすごい?

- 既存手法は行動模倣や完全軌跡の改善を行うが、planning actionsを明示的に特定せず、タスク成功への重要度も測定しない。 - PAPO-VLAはplanning actionsを特定し、その重要度を因果的十分性と因果的必要性で推定し、GRPO advantage estimationに組み込む。 - これにより重要なplanning actionsに強い最適化重点を置きつつ、軌跡全体も軌跡レベルフィードバックで最適化。 - 従来の軌跡レベル最適化と比べ、planning actionsの重要度を考慮する点が新しい。

3. 技術・手法の肝は?

- まずaction variationとtrajectory outcomeを同時に考慮してplanning actionsを特定。 - 次にcausal sufficiencyとcausal necessityを通じてその重要度を推定。 - 最後にこの重要度をGRPO advantage estimationに組み込む。 - 重要なplanning actionsにはより強い最適化重点を与え、軌跡全体は軌跡レベルフィードバックで最適化。

4. どうやって有効だと検証した?

- 複数のbenchmarkでの実験によりPAPO-VLAの有効性を実証。 - 具体的なbenchmark名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてGRPO (Group Relative Policy Optimization) が挙げられる。 - 同分野の定番としてVision-Language-Action (VLA) models、planner-executorアーキテクチャ、causal sufficiency/necessity、trajectory-level optimizationなどが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peizheng Guo, Jingyao Wang, Changwen Zheng, Wenwen Qiang

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models show promising ability in language-guided robotic tasks. However, making VLA policies reliable remains challenging, because a manipulation task is completed through closed-loop interaction, where each action affects subsequent execution. To analyze this problem, we revisit VLA policy during execution and argue that a VLA policy acts both as a planner, which makes task-oriented decisions that change the direction of execution, and as an executor, which realizes these decisions through dense continuous actions. This view suggests that improving VLA reliability requires particular attention to planning actions. Existing optimization methods can imitate actions or improve complete trajectories, but they usually do not explicitly identify planning actions or measure their importance for task success. To address this issue, we propose Planning-Aware Policy Optimization for VLA models (PAPO-VLA). PAPO-VLA first identifies planning actions by jointly considering action variation and trajectory outcome, then estimates their importance through causal sufficiency and causal necessity, and finally incorporates this importance into GRPO advantage estimation. In this way, more important planning actions receive stronger optimization emphasis, while the whole trajectory is still optimized by trajectory-level feedback. Experiments on multiple benchmarks demonstrate the effectiveness of PAPO-VLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI