日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.05738

文脈内VLA:文脈内ポストトレーニングとエージェント的ツール使用による視覚言語行動モデルへの言語能力の付与

In-Context VLA: Endowing Vision-Language-Action Models with Language via In-Context Post-Training and Agentic Tool Use

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動(VLA)モデルに、自由形式の思考連鎖ではなく、構造化された文脈情報とツール使用を通じて接地された言語を消費する能力を与えるフレームワークを提案し、シミュレーション環境でその有効性を示した。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) モデルに言語能力を付与するフレームワーク「In-Context VLA」を提案する。従来のVLAは静的画像と固定命令から行動を模倣学習するが、提案手法は、知覚情報を構造化コンテキストとして注入し、行動のみを教師するin-context post-trainingと、オープン語彙検出器・単眼深度・VLMをクエリするagentic tool-use interfaceにより、言語を生成するのではなく、接地された言語を消費する能力を獲得する。

2. 先行研究と比べてどこがすごい?

従来のVLAは行動クローニングに基づき、言語生成能力を持たない。一方、自由形式のテキストchain-of-thought (CoT)を注入する試みは、推論が非接地で、遅延が閉ループ制御を壊し、推論と行動トークンが相反する目的で最適化されるため、低レベル制御を劣化させる。提案手法は、言語生成ではなく接地言語の消費に焦点を当て、CoTベースの手法と比較して、性能と効率の両方でSOTAを達成する点が新しい。

3. 技術・手法の肝は?

手法の核は2つ。(i) in-context post-training: 知覚エビデンスを構造化コンテキストとして注入し、モデルを行動のみで教師する。(ii) agentic tool-use interface: ポリシーがオープン語彙検出器、単眼深度、VLMを能動的にクエリし、タスク関連情報を取得する。また、データエンジンは単一のテンプレート文ではなく、多様で言い換えられ、エビデンスに条件付けられた空間記述を生成し、ポリシーが逐語的に見たことのない言語を解釈することを学習する。

4. どうやって有効だと検証した?

RoboCasa-GR1、SimplerEnv、LIBEROのシミュレーションベンチマークと、8つの実世界ロボット操作タスクで評価した。CoTベースの手法と同等の設定で比較し、性能と効率の両方で一貫してSOTA結果を達成した。

5. 議論はある?

要旨からは、自由形式のCoTが低レベル制御を劣化させるという分析と、提案手法の優位性が示されているが、具体的な議論や限界については不明。また、実世界タスクの詳細や、提案手法の汎化性に関する議論は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連手法として、CoTベースのVLAアプローチ、およびVLAモデル一般が挙げられる。具体的な論文名は不明だが、次に読むべきは、VLAモデルの基盤となる既存研究(例: RT-2、OpenVLAなど)や、CoTをロボット制御に適用した研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiarui Yang, Wen Huang, Jiale Zhang, Maowei Hu, Hang Guo

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have become the dominant recipe for generalist manipulation, yet they are almost universally trained by behavior cloning: a policy imitates expert action chunks conditioned on a static image and a fixed instruction. A natural remedy is to inject explicit reasoning through textual chain-of-thought (CoT). We show, both empirically and analytically, that free-form textual CoT degrades low-level control: the reasoning it produces is ungrounded, its latency breaks closed-loop timing, and, crucially, the reasoning and action tokens are optimized against conflicting objectives so that the policy learns to narrate rather than to act. We argue that what a VLA needs is not the ability to generate language, but the ability to consume grounded language. To this end we introduce \textbf{\ourmethod{}}, a framework that endows a VLA with language competence through (i) in-context post-training, in which perceptual evidence is injected as structured context and the model is supervised only on actions, and (ii) an agentic tool-use interface, in which the policy queries open-vocabulary detectors, monocular depth, and a vision--language model to actively acquire task-relevant information. Rather than emitting a single templated caption, our data engine produces diverse, paraphrased, and evidence-conditioned spatial descriptions, so that the policy learns to interpret language it has never seen verbatim. Across the RoboCasa-GR1, SimplerEnv, and LIBERO simulation benchmarks, together with 8 real-world robot manipulation tasks, our method consistently achieves SOTA results in both performance and efficiency when compared with CoT-based approaches under matched configurations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI