日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.13632

ガイド・思考・行動:視覚言語行動モデルにおける対話型身体化推論

Guide, Think, Act: Interactive Embodied Reasoning in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ユーザーが視覚的な手がかりでロボットのポリシーを誘導できる対話型VLAフレームワークを提案し、空間的推論と行動生成を統合してOOD環境での堅牢性を向上させた。

詳しい要約

1. どんなもの?

- 提案: GTA-VLA(Guide, Think, Act) - 対話的に空間操作可能な Vision-Language-Action (VLA) フレームワーク - ユーザが視覚的手がかりでロボット方策を誘導できる - 目的: 空間的に誘導可能な embodied reasoning を実現 - 明示的な視覚キュー(affordance points, boxes, traces)を入力 - 構成: 推論モジュール + 軽量な reactive action head - 効率的な行動実行を狙う

2. 先行研究と比べてどこがすごい?

- 既存 VLA: マルチモーダル観測から行動への直接的な Sense-to-Act 写像 - 訓練分布内では有効だが OOD シフトに脆く、失敗時の修正が困難 - 既存 embodied Chain-of-Thought (CoT): 中間推論を露出 - しかし人間の空間的ガイダンスを取り込む仕組みが欠如 - 視覚的曖昧さの解消や誤りからの回復が制限 - 本手法: 空間事前情報(affordance points, boxes, traces)を条件として利用可能 - 人間の視覚的意図と自律的意思決定を整合させる点が新しい

3. 技術・手法の肝は?

- ユーザが任意で空間事前情報を提供 - affordance points, boxes, traces などの視覚キュー - モデルは統合的な spatial-visual Chain-of-Thought を生成 - 外部ガイダンスと内部タスク計画を統合 - 人間の視覚的意図を自律的意思決定に整合 - 推論モジュールと軽量な reactive action head を結合 - 効率的な行動実行を実現

4. どうやって有効だと検証した?

- 広範な実験で有効性を実証 - in-domain SimplerEnv WidowX benchmark - state-of-the-art の 81.2% 成功率を達成 - OOD の視覚シフトと空間的曖昧さの下で - 単一の視覚インタラクションが既存手法よりタスク成功率を大幅改善 - 失敗回復における対話的推論の価値を示す

5. 議論はある?

- 既存 VLA の脆さと修正困難性を指摘 - embodied CoT の限界(人間の空間ガイダンス欠如)を議論 - 対話的推論が embodied control の失敗回復に有用と主張 - 具体的な限界や失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は?

- 既存 VLA モデル(直接的な Sense-to-Act 写像) - embodied Chain-of-Thought (CoT) アプローチ - SimplerEnv WidowX benchmark - 関連手法として Vision-Language-Action (VLA) モデル全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiran Ling, Qing Lian, Jinghang Li, Qing Jiang, Tianming Zhang, Xiaoke Jiang, Chuanxiu Liu, Jie Liu, Lei Zhang

分類: cs.RO, cs.CV

原文アブストラクト

In this paper, we propose GTA-VLA(Guide, Think, Act), an interactive Vision-Language-Action (VLA) framework that enables spatially steerable embodied reasoning by allowing users to guide robot policies with explicit visual cues. Existing VLA models learn a direct "Sense-to-Act" mapping from multimodal observations to robot actions. While effective within the training distribution, such tightly coupled policies are brittle under out-of-domain (OOD) shifts and difficult to correct when failures occur. Although recent embodied Chain-of-Thought (CoT) approaches expose intermediate reasoning, they still lack a mechanism for incorporating human spatial guidance, limiting their ability to resolve visual ambiguities or recover from mistakes. To address this gap, our framework allows users to optionally guide the policy with spatial priors, such as affordance points, boxes, and traces, which the subsequent reasoning process can directly condition on. Based on these inputs, the model generates a unified spatial-visual Chain-of-Thought that integrates external guidance with internal task planning, aligning human visual intent with autonomous decision-making. For practical deployment, we further couple the reasoning module with a lightweight reactive action head for efficient action execution. Extensive experiments demonstrate the effectiveness of our approach. On the in-domain SimplerEnv WidowX benchmark, our framework achieves a state-of-the-art 81.2% success rate. Under OOD visual shifts and spatial ambiguities, a single visual interaction substantially improves task success over existing methods, highlighting the value of interactive reasoning for failure recovery in embodied control. More details of the project can be found here: https://github.com/FutianLabs/GTA-VLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI