日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.15099

考えるより先に動け:視覚言語行動モデルにおける強化学習を用いた潜在推論と早期終了戦略

Think Less, Act Early: Reinforced Latent Reasoning with Early Exit in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルにおいて、明示的なテキスト推論を避け、潜在変数による推論を強化学習で最適化し、信頼度に応じて推論を早期終了することで、高速かつ高精度な行動決定を実現した。

詳しい要約

1. どんなもの?

- 既存のVision-Language-Action (VLA) モデルは、知覚と行動を橋渡しするために明示的なChain-of-Thought (CoT) 推論に依存している。 - 本論文では、Adaptive Variable Alignment VLA (AVA-VLA) を提案する。 - これは、推論を観測不可能な潜在変数の系列としてモデル化するLatent Reasoning VLAフレームワークであり、明示的なテキスト生成を不要とする。 - しかし、潜在軌道はノイズ干渉や下流目的との不整合に脆弱である。 - そこで、強化学習ベースのDenoisingメカニズムを導入し、潜在状態生成を逐次決定過程として扱い、タスクレベルの報酬で推論軌道を最適化する。 - さらに、Early-Exit Strategyを組み込み、状態の信頼度に基づいて推論を適応的に終了させ、深さと効率の動的なトレードオフを可能にする。 - embodied decision benchmarksでの実験により、AVA-VLAは明示的CoT法と比較して6倍の推論速度向上を達成し、LIBEROで98.3%の平…

2. 先行研究と比べてどこがすごい?

- 既存のVLAモデルは明示的なCoT推論に依存しており、計算コストが高く、多段階タスクでの誤り伝播が問題となる。 - AVA-VLAは、潜在推論フレームワークにより明示的なテキスト生成を不要とし、これらの問題を回避する。 - さらに、強化学習ベースのDenoisingメカニズムとEarly-Exit Strategyを導入することで、ノイズ干渉や目的不整合に対処し、効率と安定性を向上させる。 - 実験では、明示的CoT法と比較して6倍の推論速度向上を達成し、LIBEROで98.3%の平均成功率を達成した。 - 完全推論ベースラインと比較して、効率と長期的安定性の両方を改善した。

3. 技術・手法の肝は?

- 推論を観測不可能な潜在変数の系列としてモデル化するLatent Reasoning VLAフレームワークを提案。 - 強化学習ベースのDenoisingメカニズム:潜在状態生成を逐次決定過程として扱い、タスクレベルの報酬で推論軌道を最適化。 - Early-Exit Strategy:状態の信頼度に基づいて推論を適応的に終了させ、深さと効率の動的なトレードオフを実現。 - これらにより、明示的なテキスト生成を不要とし、ノイズ干渉や目的不整合に対処する。

4. どうやって有効だと検証した?

- embodied decision benchmarksでの実験により有効性を検証。 - 明示的CoT法と比較して6倍の推論速度向上を達成。 - LIBEROで98.3%の平均成功率を達成。 - 完全推論ベースラインと比較して、効率と長期的安定性の両方を改善した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:明示的Chain-of-Thought (CoT) 推論を用いるVLAモデル、完全推論ベースライン。 - 関連手法:Vision-Language-Action (VLA) モデル、Chain-of-Thought (CoT)、強化学習、Early-Exit Strategy。 - データセット:LIBERO。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dianqiao Lei, Lianlei Shan

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Existing Vision-Language-Action (VLA) models predominantly rely on explicit Chain-of-Thought (CoT) reasoning to bridge perception and action. While effective, this paradigm suffers from high computational costs and error propagation in multi-step tasks. In this paper, we propose Adaptive Variable Alignment VLA (AVA-VLA), a novel Latent Reasoning VLA framework that models reasoning as a sequence of unobservable latent variables, bypassing the need for explicit text generation. However, latent trajectories are inherently susceptible to noise interference and misalignment with downstream objectives. To address this, we introduce a Reinforcement Learning-based Denoising mechanism that treats latent state generation as a sequential decision process, optimizing reasoning trajectories via task-level rewards. Furthermore, we incorporate an Early-Exit Strategy that adaptively terminates reasoning based on state confidence, enabling a dynamic trade-off between depth and efficiency. Extensive experiments on embodied decision benchmarks demonstrate that AVA-VLA achieves a 6x inference speedup over explicit CoT methods while attaining a 98.3% average success rate on LIBERO, improving both efficiency and long-horizon stability over full-reasoning baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI