日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.34944

随伴ガイダンスフロー:VLAポリシーのための償却型クリティックガイダンス

Adjoint Guidance Flow: Amortized Critic Guidance for VLA Policies

シェア:XThreadsFacebookLINEはてブBluesky

VLAポリシーの生成をクリティックで誘導する際、最適制御の随伴変数を用いて軽量ガイダンスネットワークに償却学習させ、推論時はクリティック不要で高速・省メモリに高価値行動を生成する手法を提案。

詳しい要約

1. どんなもの?

- Flow-based Vision-Language-Action (VLA) policies のための新しい critic guidance 手法 Adjoint Guidance Flow (AGF) を提案。 - 事前学習済み VLA policy を固定し、軽量な guidance network に trajectory-aware な critic guidance を amortize する。 - critic-guided flow generation を deterministic optimal control 問題として定式化し、最適 guidance を costate として扱う。 - LIBERO, RoboCasa, LIBERO-Pro で評価。

2. 先行研究と比べてどこがすごい?

- 既存の critic guidance は sampler の one-step surrogate で critic を微分し、各 flow step で critic ensemble を back-propagation する必要があった。 - AGF は guidance network を costate に回帰させ、VLA と critic を凍結したまま学習。 - 学習時のメモリとスループットのスケーリングが良好。 - 推論時は guidance-network の forward pass が1回だけで、critic ensemble, back-propagation, adjoint computation が不要。 - QGF と比較して guidance step あたり 3.6倍高速、パラメータ数 7.0分の1で、同等以上の性能。

3. 技術・手法の肝は?

- critic-guided flow generation を deterministic optimal control 問題として定式化。 - 最適 guidance は terminal critic gradient を残りの flow に伝播する costate で表現される。 - guidance network をこの costate に回帰させる。 - VLA policy と critic は凍結し、guidance network のみを学習。 - 推論時は各 step で guidance network の forward pass を1回行うのみ。

4. どうやって有効だと検証した?

- LIBERO, RoboCasa, LIBERO-Pro の3つのベンチマークで評価。 - 事前学習済み VLA を一貫して改善。 - critic-guidance および policy-fine-tuning ベースラインと競合する性能。 - 単一の guidance strength をタスク間で展開した場合に最もロバストな手法であることを示す。 - QGF と比較して 3.6倍高速、7.0倍少ないパラメータで同等以上の性能を確認。

5. 議論はある?

- AGF は critic guidance を trajectory-aware かつ軽量にできることを示す。 - 学習時のメモリとスループットのスケーリングが有利。 - 推論時に critic ensemble, back-propagation, adjoint computation が不要。 - 単一 guidance strength でのロバスト性が高い。 - 要旨からは、限界や失敗ケース、計算コストの詳細な議論は不明。

6. 次に読むべき論文は?

- QGF (critic guidance の既存手法として比較対象) - Flow-based VLA policies の代表的手法 (例: 拡散モデルベースの VLA) - Behavior cloning による VLA 学習 - Critic ensemble を用いた guidance 手法 - Policy fine-tuning ベースライン

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeongsol Kim, Youngjun Jun, Kyumin Choi, Youngmin Kim, Seonghyun Jin, Sunwoo Park, Jangho Park, Kwanyoung Kim, Jong Chul Ye

分類: cs.LG, cs.CV, cs.RO

原文アブストラクト

Flow-based Vision-Language-Action (VLA) policies are typically trained by behavior cloning and thus do not explicitly optimize long-term task return. Critic guidance steers generation toward higher-value actions, but existing methods differentiate the critic through a one-step surrogate of the sampler and back-propagate a critic ensemble at every flow step. In contrast, here we propose Adjoint Guidance Flow (AGF), which amortizes trajectory-aware critic guidance into a lightweight guidance network while preserving the pretrained VLA policy. Specifically, we formulate critic-guided flow generation as a deterministic optimal control problem, whose optimal guidance is a costate that carries the terminal critic gradient back through the remaining flow, and regress the guidance network onto this costate while keeping both the VLA and critic frozen. This design provides favorable memory and throughput scaling during training, and inference needs one guidance-network forward pass per step, without the critic ensemble, back-propagation, or adjoint computation. Across LIBERO, RoboCasa, and LIBERO-Pro, AGF consistently improves pretrained VLAs, remains competitive with critic-guidance and policy-fine-tuning baselines, and is the most robust method when a single guidance strength is deployed across tasks. Compared with QGF, AGF runs $3.6\times$ faster per guidance step with $7.0\times$ fewer parameters, with comparable and even better performance, showing that critic guidance can be trajectory-aware and lightweight.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI