日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

制御ポリシーarXiv:2606.31132

ELASTIC: 生成制御ポリシーのテスト時計算を適応的にスケールする効率的学習

ELASTIC: Efficiently Learning to Adaptively Scale Test-Time Compute for Generative Control Policies

シェア:XThreadsFacebookLINEはてブBluesky

ロボット制御の生成ポリシー(拡散ポリシーやVLAモデル)において、状態に応じて推論時の計算量(逐次ステップ数と並列サンプル数)を強化学習で適応的に割り当てる手法を提案し、シミュレーションと実機で性能と効率を両立した。

詳しい要約

1. どんなもの?

- 生成制御ポリシー(GCPs)のためのテスト時計算量を適応的に配分する手法 - 拡散ポリシーやflow-based VLAモデルを対象 - 逐次スケーリング(denoising steps増)と並列スケーリング(候補サンプル数増)の2軸を状態依存でスケジュール - メタ強化学習で計算配分を学習

2. 先行研究と比べてどこがすごい?

- 従来は固定または単一軸のスケーリングが主流 - 最適配分は状態・タスク・ポリシー依存で事前に不明 - ELASTICは状態依存スケジュールを学習し、同一計算予算でPareto優位 - 実機でbest-of-10と同等成功を34%低遅延で達成

3. 技術・手法の肝は?

- 計算配分をmeta-Markov Decision Processとして定式化 - meta-policyが凍結済み事前学習ロボットポリシーと相互作用 - 各denoising iterationで逐次ステップ数と並列サンプル数を選択 - タスク成功最大化と計算最小化を目的に強化学習 - GCPの訓練データにアクセスせず適応的スケジュールを学習

4. どうやって有効だと検証した?

- 拡散ポリシーを用いたシミュレーション操作ベンチマーク - 同一計算予算で固定・単一軸スケーリングベースラインをPareto支配 - 実世界ロボット操作でπ_{0.5} VLAモデルを使用 - best-of-10の成功率に一致しつつwall-clock latencyを34%削減

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- diffusion policies - flow-based vision-language-action models - π_{0.5} vision-language-action model - best-of-10 sampling - meta-Markov Decision Process - reinforcement learning for compute allocation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrew Zou Li, Gokul Swamy, Yonatan Bisk, Andrea Bajcsy

分類: cs.RO

原文アブストラクト

Generative control policies (GCPs), such as diffusion policies and flow-based vision-language-action models, enable test-time scaling in robot control. Test-time compute can be allocated along two axes: sequential scaling, which increases denoising steps to refine actions, and parallel scaling, which samples multiple candidate actions to search across modes of the policy distribution. However, the optimal allocation of sequential and parallel compute is hard to know a priori as it is state-, task-, and policy-dependent. For example, early stages of a grasp may benefit from broader parallel exploration, while near-contact phases may require more sequential refinement for precision. We present ELASTIC, an algorithm that learns state-dependent test-time compute schedules for GCPs. We formulate compute allocation as a meta-Markov Decision Process in which a meta-policy interacts with a frozen pretrained robot policy and selects sequential steps and parallel samples at each denoising iteration to maximize task success while minimizing compute. Using reinforcement learning, this meta-policy also learns adaptive compute schedules without access to the GCP's training data. Across simulated manipulation benchmarks with diffusion policies, ELASTIC Pareto-dominates fixed and single-axis scaling baselines at matched compute budgets. On real-world robot manipulation with the $\pi_{0.5}$ vision-language-action model, ELASTIC matches best-of-$10$ success while reducing wall-clock latency by 34%.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI