日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.16281

言った通りに動け:実行時推論・行動整合性検証による視覚言語行動モデルの誘導

Do What You Say: Steering Vision-Language-Action Models via Runtime Reasoning-Action Alignment Verification

シェア:XThreadsFacebookLINEはてブBluesky

推論型VLAモデルが生成するテキスト計画と実際の行動の不一致を実行時に検証し、シミュレーションとVLMで計画に最も合致する行動を選ぶことで、再学習なしにOOD環境でのロバスト性と新規行動の合成を実現した。

詳しい要約

1. どんなもの?

- 対象: reasoning VLA (Vision-Language-Action) モデル - 低レベル action の前に step-by-step の textual plan を生成する CoT 型 VLA - 問題提起: textual plan が正しくても、生成される action が plan の意図した outcome を外すことがある - 特に out-of-distribution (OOD) シナリオで顕著 - これを embodied CoT faithfulness の欠如として定式化 - 提案: training-free かつ runtime の policy steering 手法 - reasoning-action alignment を実行時に検証・矯正する枠組み - 副次貢献: LIBERO-100 の reasoning 注釈付き拡張と OOD 評価用の環境変種を提供

2. 先行研究と比べてどこがすごい?

- 先行の reasoning VLA は CoT 風の textual plan 生成で instruction-following を改善 - しかし plan と action の整合性は明示的に検証されていない - 本研究の差分: - plan と action の不整合を embodied CoT faithfulness の欠如として明示的に問題化 - 再学習なし (training-free) で runtime に矯正する点 - モデル本来の action diversity を誤差源から強みへ転換 - 定量面: behavior composition タスクで prior work 比 最大 15% の性能向上 (要旨記載) - 計算量・データ多様性に応じてスケールすることを示唆

3. 技術・手法の肝は?

- 入力: reasoning VLA が出力する中間 textual plan - 手順: - 同一モデルから複数の candidate action sequence をサンプリング - simulation により各候補の outcome を予測 - 事前学習済み VLM (Vision-Language Model) で、outcome が VLA 自身の textual plan に最も整合する系列を選択 - 実行制御: textual reasoning と整合した action sequence のみを実行 - 設計上の要点: - 学習不要 (training-free) の runtime steering - action サンプリングの多様性を探索源として活用 - 新規 behavior composition を再学習なしで実現

4. どうやって有効だと検証した?

- 評価タスク: behavior composition タスク - prior work 比 最大 15% の性能向上を報告 - OOD 評価: - semantic OOD および visual OOD の perturbation に対する robustness を評価 - そのために LIBERO-100 の reasoning 注釈付き拡張と環境変種を構築 - スケーリング: 計算量およびデータ多様性に対して性能がスケールすることを確認 (要旨記載) - 詳細な実験設定・ベースライン・指標は要旨からは不明

5. 議論はある?

- 主張: plan-action 整合性の runtime 検証が OOD robustness と behavior composition に有効 - 利点: 再学習コスト不要、既存 reasoning VLA に後付け可能 - 想定される論点 (要旨からは不明な部分を含む): - simulation による outcome 予測の忠実度・sim-to-real ギャップ - VLM 選択器の誤りや計算オーバーヘッド - 候補サンプリング数と性能のトレードオフ - textual plan 自体が誤っている場合の扱い - これらへの明示的な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: - reasoning VLA (textual plan を生成する VLA) - Chain-of-Thought (CoT) reasoning - LIBERO-100 (およびその reasoning 注釈付き拡張) - 関連手法として挙げられる要素: - Vision-Language Model (VLM) を用いた outcome 選択 - simulation ベースの outcome 予測 - 同分野の定番として併読候補: - Vision-Language-Action (VLA) モデル全般 - embodied CoT faithfulness に関する研究 - OOD robustness 評価のための benchmark 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yilin Wu, Anqi Li, Tucker Hermans, Fabio Ramos, Andrea Bajcsy, Claudia Pérez-D'Arpino

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Reasoning Vision Language Action (VLA) models improve robotic instruction-following by generating step-by-step textual plans before low-level actions, an approach inspired by Chain-of-Thought (CoT) reasoning in language models. Yet even with a correct textual plan, the generated actions can still miss the intended outcomes in the plan, especially in out-of-distribution (OOD) scenarios. We formalize this phenomenon as a lack of embodied CoT faithfulness, and introduce a training-free, runtime policy steering method for reasoning-action alignment. Given a reasoning VLA's intermediate textual plan, our framework samples multiple candidate action sequences from the same model, predicts their outcomes via simulation, and uses a pre-trained Vision-Language Model (VLM) to select the sequence whose outcome best aligns with the VLA's own textual plan. Only executing action sequences that align with the textual reasoning turns our base VLA's natural action diversity from a source of error into a strength, boosting robustness to semantic and visual OOD perturbations and enabling novel behavior composition without costly re-training. We also contribute a reasoning-annotated extension of LIBERO-100, environment variations tailored for OOD evaluation, and demonstrate up to 15% performance gain over prior work on behavior composition tasks and scales with compute and data diversity. Project Website at: https://yilin-wu98.github.io/steering-reasoning-vla/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI