日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.14588

テスト時検証付きVLAポリシーのためのフローサポート重み付き提案

Flow-Support-Weighted Proposals for Test-Time Verified VLA Policies

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルのテスト時サンプリングで候補が冗長になる問題を「提案収縮」と名付け、訓練時にフローサポートで重み付けした追加軌道でポリシーを補正するADSを提案し、候補の多様性と検証性能を向上させた。

詳しい要約

1. どんなもの?

テスト時サンプリングで1つの行動予測から複数の実行可能候補を生成し、verifierが選択する枠組みを扱う。VLAモデルを単一タスク分布でfine-tuningすると、flow-matching decoderが支配的なdemonstrated action周辺に集中し、繰り返しサンプルがほぼ同一になる『proposal contraction』を指摘。これを緩和するAction Dynamic Sampling (ADS)を提案する。

2. 先行研究と比べてどこがすごい?

Gaussian perturbationはproposal spreadを上げるがsuccess penaltyを伴う。ADSはtraining時にのみ介入し、deployment costを変えずにproposal spreadを高め、success penaltyなしでoracle best-of-8やfixed verifier性能を改善する点が異なる。

3. 技術・手法の肝は?

各training stepで現在のpolicyからfresh base noiseの下にK本の追加trajectoryを統合。各trajectoryをpath上のflow supportでスコアリングし、Hutchinson trace estimatorで評価。detached finite-set KL項によりpolicyの局所action分布をこのweighted setへ補正する。

4. どうやって有効だと検証した?

simulationと4つのphysical-robotタスクで検証。oracle best-of-8 successをRoboCasaで57.6%から63.0%へ向上。simulationのfixed verifierを2.4〜4.9ポイント改善。real-world manipulationでTokenPBを最大13.0ポイント向上。

5. 議論はある?

training costは増えるがdeployment costは不変。proposal contractionがtest-time scalingの主要制約であると位置づける。Gaussian perturbationとの比較でsuccess penaltyの有無を議論。

6. 次に読むべき論文は?

要旨で参照/比較されているAction Dynamic Sampling (ADS)、Gaussian perturbation、flow-matching decoder、Hutchinson trace estimator、RoboCasa、TokenPB。関連するtest-time scalingやverifier付きVLA政策の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chen Zhao, Zipeng Ye, Haitao Shen, Guanlin Li, Yuchen Xie, Jing Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Test-time sampling promises to turn one action prediction into a set of distinct executable candidates that a verifier can choose among. Downstream fine-tuning works against that promise. A vision-language-action model trained to solve one task distribution concentrates its flow-matching decoder around the dominant demonstrated action, so repeated samples differ only marginally and the verifier receives many copies of one decision. We call this proposal contraction and identify it as a key constraint on test-time scaling: repeated samples can remain highly redundant as the candidate budget grows. Action Dynamic Sampling (ADS) alleviates the constraint on the proposal side, during training. At each training step, ADS integrates $K$ additional trajectories from the current policy under fresh base noise, scores each by the flow support along its path with a Hutchinson trace estimator, and corrects the policy's local action distribution toward this weighted set through a detached finite-set KL term. Training cost rises; deployment cost is unchanged. Across simulation and four physical-robot tasks, ADS raises proposal spread without the success penalty that Gaussian perturbation incurs, lifts oracle best-of-8 success on RoboCasa from 57.6% to 63.0%, improves fixed verifiers by 2.4 to 4.9 points in simulation, and raises TokenPB by up to 13.0 points on real-world manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI