日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.17924

PearlVLA: 潜在空間における段階的動作計画の洗練

PearlVLA: Progressive Embodied Action-Plan Refinement in Latent Space

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル(VLA)の推論を潜在空間で行うことで、高速な動作生成と明示的な熟考の両立を実現するフレームワークを提案した。

詳しい要約

1. どんなもの?

- PearlVLAは、Vision-Language-Action (VLA) モデルの新しいフレームワーク。 - deliberation(熟考)をVision-Language Model (VLM) の潜在空間で行う。 - VLMのメタクエリ表現を固定されたvisual groundingブランチと反復的なlatent planブランチに分離。 - 各リファインメントラウンドで、plan-conditioned world queryが軽量で凍結されたlatent world modelに問い合わせ、action-free future observation latentを得る。 - これをフィードバックして計画を洗練。 - future-guided RefineNetがスケジュールされた残差更新を適用し、粗い意味的ドラフトを細かい潜在行動計画に進化させる。 - Kラウンド後の洗練された計画を並列に行動チャンクにデコードし、低遅延実行を実現。

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルは、効率的な行動生成と明示的な熟考のトレードオフに直面。 - VLMバックボーンから直接行動をデコードすると低遅延制御が可能だが、計画性が低い。 - テキストチェーン、ピクセルレベルのサブゴール、行動探索による明示的推論は計画性を向上させるが、大幅な遅延と計算コストを伴う。 - PearlVLAは熟考を潜在空間に移すことで、このトレードオフを克服。 - LIBEROベンチマークで既存手法を上回るstate-of-the-art性能を達成。

3. 技術・手法の肝は?

- VLMメタクエリ表現をvisual groundingブランチとlatent planブランチに分離。 - plan-conditioned world queryが凍結された軽量latent world modelからaction-free future observation latentを取得。 - その潜在表現をフィードバックして計画を洗練。 - future-guided RefineNetがスケジュールされた残差更新を適用し、粗い意味的ドラフトを細かい潜在行動計画に変換。 - Kラウンドの洗練後、計画を並列デコードして行動チャンクを生成。 - Causal Refinement-Grouped Process-Reward RLを導入し、潜在計画編集によって誘導される長期的な想像未来からの報酬で潜在リファインメントプロセスを最適化。

4. どうやって有効だと検証した?

- LIBEROベンチマークでの実証評価を実施。 - 既存手法の中でstate-of-the-art性能を達成したと報告。 - 具体的な評価指標や比較手法の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:テキストチェーン、ピクセルレベルのサブゴール、行動探索を用いたVLAモデル。 - 関連手法:Vision-Language-Action (VLA) モデル、Vision-Language Model (VLM)、latent world model、Process-Reward RL。 - 同分野の定番:LIBEROベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bochen Yang, Lianlei Shan

分類: cs.RO, cs.AI

原文アブストラクト

Current Vision-Language-Action (VLA) models face a trade-off between efficient action generation and explicit deliberation. Directly decoding actions from vision-language backbone representations enables low-latency control, whereas explicit reasoning through textual chains, pixel-level subgoals, or action search can improve planning but incurs substantial latency and computational cost. We propose PearlVLA, a VLA framework that moves deliberation into the latent space of a vision-language model (VLM). PearlVLA separates VLM meta-query representations into a fixed visual grounding branch and an iterative latent plan branch. At each refinement round, a plan-conditioned world query probes a lightweight frozen latent world model for an action-free future observation latent, which is fed back to guide plan refinement. A future-guided RefineNet then applies scheduled residual updates to progressively refine a coarse semantic draft into a fine-grained latent action plan. The refined plan after K rounds is then decoded in parallel into an action chunk for low-latency execution. We further introduce Causal Refinement-Grouped Process-Reward RL to optimize the latent refinement process with rewards from longer-horizon imagined futures induced by latent plan edits. Empirical evaluations on the LIBERO benchmark demonstrate that PearlVLA achieves state-of-the-art performance among existing methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI