日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.03052

視覚言語行動モデルは自己受容状態をどう使うべきか

How Should Vision-Language-Action Models Use Proprioceptive State?

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルにおけるロボットの自己受容状態の入力方法(テキスト、プレフィックス、直接入力など)と履歴長が性能に与える影響を、制御実験で体系的に比較し、設計原則を導出した論文。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) モデルにおけるロボットの自己受容状態(proprioceptive state)の入力方法に関する設計選択を体系的に調査した研究である。具体的には、状態をテキストプロンプトに直列化する、視覚言語プレフィックスに投影する、アクションエキスパートに直接入力するなど、既存のVLAモデルで採用されている代表的な5つのインターフェースを、バックボーン、トレーニングデータ、アクション表現、評価プロトコルを固定した上で比較する。さらに、状態履歴の長さを1フレームから96フレームまで変化させ、その影響を評価する。45の原子タスク(3つのタスクファミリー)と20の複合タスクを用いて、状態入力の必要性、履歴の有用性、入力位置の最適性という3つの未解決問題に答えることを目指す。

2. 先行研究と比べてどこがすごい?

先行研究では、VLAモデルが自己受容状態を様々な方法で入力しているが、その方法はモデルごとに異なり、統一的な比較や設計原則が欠如していた。また、状態履歴の重要性や、状態を視覚言語バックボーンとアクション生成モジュールのどちらに入力すべきかという問題は、個別の研究で断片的に扱われるにとどまっていた。本論文は、バックボーンやデータなどの他の要因を固定した上で、5つの代表的なインターフェースを同一条件下で比較し、さらに履歴長のスイープを行うことで、これらの問題に対する体系的な回答を提供する点が優れている。これにより、状態入力の設計に関する一般的でテスト可能な原則を導き出している。

3. 技術・手法の肝は?

手法の肝は、制御された実験設定にある。具体的には、フローマッチングに基づくVLAモデルを固定し、5つの状態入力インターフェースを実装する:(1) 離散状態プロンプト(状態をテキストとして埋め込む)、(2) VLMプレフィックス(状態を視覚言語モデルの入力シーケンスに追加)、(3) アクションプレフィックス(状態をアクション生成部の入力に追加)、(4) 状態エキスパート(状態専用のエンコーダを追加)、(5) 特徴変調(状態で特徴量を変調)。これらを実装詳細を一致させて比較する。また、状態履歴の長さを1から96フレームまで変化させ、履歴の効果を評価する。評価は45の原子タスクと20の複合タスクで行われ、タスクファミリーごとに分析する。

4. どうやって有効だと検証した?

有効性の検証は、固定したバックボーン、トレーニングデータ、アクション表現、評価プロトコルの下で、5つのインターフェースを比較することにより行われる。具体的には、45の原子タスク(3つのタスクファミリー)と20の複合タスクで性能を評価し、状態履歴の長さを1から96フレームまでスイープして、履歴の影響を調べる。これにより、状態入力の有無、履歴の長さ、入力位置が性能に与える影響を体系的に分析し、設計原則を導出する。

5. 議論はある?

議論としては、要旨からは、状態履歴の利点が実際の時間的変動によるものか、単に条件付け容量の増加によるものかを区別する点が挙げられている。また、状態入力の位置(視覚言語バックボーンかアクション生成モジュールか)がタスクによって最適な選択が異なる可能性が示唆される。さらに、実験は特定のVLAアーキテクチャ(フローマッチング)に限定されており、他のアーキテクチャへの一般化については要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、VLAモデルにおける状態入力の比較研究として、同分野の定番であるRT-2やOpenVLAなどのVLAモデル、および状態表現に関する研究が挙げられる。また、フローマッチングを用いたアクション生成に関する研究も関連する。具体的な論文名は要旨にないため、一般名で示す。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiren Zhao, Ziyang Chen, Ziyang Rao, Pengteng Li, He Zhang, Weiyu Guo, Yandong Guo, Rushi Dai

分類: cs.RO

原文アブストラクト

Recent Vision-Language-Action (VLA) models almost universally take robot proprioceptive state as input, yet wire it in incompatible ways -- serialized into text prompts, projected into the vision-language prefix, or fed directly to the action expert -- and almost always as a single current frame. Three questions remain open: (1) whether, and on which tasks, current state actually improves closed-loop control; (2) how much state history helps, and whether its benefit reflects genuine temporal variation rather than added conditioning capacity; and (3) where state should enter the model -- the vision-language backbone or the action-generation module. We answer these questions through controlled experiments on a flow-matching VLA, fixing the backbone, training data, action representation, and evaluation protocol throughout. We implement five representative interfaces -- discrete state prompt, VLM prefix, action prefix, state expert, and feature modulation -- under matched implementation details, and evaluate them on 45 atomic tasks spanning three task families plus 20 composite tasks; we then sweep the state-history length from 1 to 96 frames to examine how historical state information affects model performance. The experiments yield systematic answers to all three questions, distilled into testable design principles for state-aware VLAs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI