日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.25215

反射型VLA:文脈内の行動結果がVLAの汎化を促進する

Reflective VLA: In-Context Action Consequences Make VLAs Generalize

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル(VLA)の汎化性能を向上させるため、観察・行動・結果の三つ組を文脈として利用する「Reflective VLA」を提案した。従来の反応型モデルでは捉えられない環境固有の要因を、行動後の変化から推定することで、分布シフト下での成功率を向上させた。

詳しい要約

1. どんなもの?

- 視覚言語行動モデル(VLA)の新手法 Reflective VLA を提案。 - 各意思決定を observation-action-consequence の三つ組コンテキストに条件付け。 - 三つ組は観測・実行行動・その後のシーン変化を記録。 - これにより行動から観測効果へのデプロイ固有マッピングを露出。 - 反応的な従来 VLA の一般化不足を改善することを狙う。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は反応的で、現在の観測が行動関連状態を完全に特定すると暗黙に仮定。 - カメラ・ロボット間の幾何、キャリブレーション、系統的な actuation bias などは単一観測から特定困難。 - そのため訓練環境に過適合し、デプロイ時の一般化が悪い。 - Reflective VLA は行動結果を含むコンテキストでこれらを曖昧性解消。 - LIBERO-Plus と LIBERO-Plus-Hard で反応的ベースラインより成功率が 5.4 および 4.2 ポイント向上。

3. 技術・手法の肝は?

- 全観測モダリティを VLM に通し、共有 attention 下で処理。 - action expert が過去の三つ組と現在の観測を直接推論。 - block-causal mask により漏洩なしの並列マルチフレーム訓練を実現。 - KV-cached リアルタイム推論をサポート。 - 各三つ組は観測・行動・結果を記録し、行動から効果への写像を露出。

4. どうやって有効だと検証した?

- 標準 LIBERO と SimplerEnv-Bridge で分布内性能を維持。 - 分布シフト下の LIBERO-Plus とより難しい LIBERO-Plus-Hard で評価。 - 反応的ベースライン比で平均成功率が 5.4 および 4.2 ポイント改善。 - 履歴のみのマッチしたベースラインとのアブレーションを実施。 - 行動結果がコンテキスト長だけでなく環境間一般化の鍵であることを示す。

5. 議論はある?

- アブレーションにより、単なるコンテキスト長の増加ではなく行動結果が重要と主張。 - 反応的ポリシーは embodiment 固有因子を信頼性高く曖昧性解消できないと議論。 - 分布シフト下での一般化改善を強調。 - 具体的な限界や失敗ケース、計算コストの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究: LIBERO, SimplerEnv-Bridge, LIBERO-Plus, LIBERO-Plus-Hard。 - 関連手法として reactive VLA baseline と history-only baseline が挙げられる。 - 同分野の定番として vision-language-action (VLA) モデル、VLM、action expert が関連。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qing Lian, Kent Yu, Lei Zhang

分類: cs.CV, cs.RO

原文アブストラクト

Most vision-language-action (VLA) models are reactive: they predict the next action from the current instruction and observation, implicitly assuming that the current observation fully specifies the action-relevant state. In embodied control, however, embodiment-specific factors such as camera-to-robot geometry, robot calibration, or systematic actuation bias are often hard to identify from a single observation. As a result, reactive policies cannot reliably disambiguate these factors in general, overfitting to training environments and generalizing poorly at deployment. We propose Reflective VLA, which conditions each decision on a context of observation-action-consequence triplets. Each triplet records not only what the robot observed and executed, but also how the scene changed afterward, exposing the deployment-specific mapping from actions to observed effects. Architecturally, Reflective VLA routes all observation modalities through the VLM under shared attention, so the action expert reasons directly over past triplets and the current observation. A block-causal mask enables parallel multi-frame training without leakage and supports KV-cached real-time inference. On standard LIBERO and SimplerEnv-Bridge, Reflective VLA preserves strong in-distribution performance. Under distribution shift on LIBERO-Plus and the harder LIBERO-Plus-Hard, it improves average success rate by 5.4 and 4.2 percentage points over a matched reactive baseline. Ablations with a matched history-only baseline further show that action consequences -- rather than additional context length alone -- are the key to cross-environment generalization. Project page: https://lianqing11.github.io/reflective-vla-page/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI