日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.30011

VisualThink-VLA: 視覚的推論による効率的で低遅延な視覚言語行動ポリシー

VisualThink-VLA: Visual Intermediate Reasoning for Effective and Low-Latency Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

テキストの思考連鎖に代わる視覚的推論を導入し、行動予測の精度を保ちつつ推論遅延を大幅に削減したVLAポリシーを提案。

詳しい要約

1. どんなもの?

視覚的中间推論を導入したVLAポリシー「VISUALTHINK-VLA」を提案する研究。テキストのchain-of-thoughtではなく、コンパクトな視覚証拠インターフェースで行動予測をブートストラップし、低遅延かつ高精度な実機制御を目指す。VisualEvidence-Kitと754.7kのVisualEvidence-Setも導入する。

2. 先行研究と比べてどこがすごい?

従来のreasoning-augmented VLAはテキストchain-of-thoughtを用いるため、無関係なテキスト情報が行動予測を妨げ、自己回帰テキスト復号が実時間閉ループに不向きな遅延を生む。本手法は視覚的推論に置き換え、BridgeData V2でstep latencyをECoTの8.377sから0.367sへ短縮し22.8倍高速化、多くのベンチマークで最高成功率を達成。

3. 技術・手法の肝は?

- 視覚的中间推論フレームワーク - コンパクトなvisual-evidence interfaceで行動予測をブートストラップ - 空間精度を保ちつつ復号オーバーヘッドを回避 - selective routing mechanism - visual evidence tokensを学習 - 低遅延推論と高容量特化を両立 - VisualEvidence-Kit - VisualEvidence-Agent中心の監督・監査リソース - 754.7k VLA instructionsのVisualEvidence-Setを構築 - route supervisionとcounterfactual faithfulness testsに使用

4. どうやって有効だと検証した?

複数のベンチマークと実ロボット評価で検証。多くのベンチマークで最高成功率を達成し、reasoning-augmented baselinesの数秒遅延をsub-second領域に短縮。BridgeData V2ではstep latencyをECoTの8.377sから0.367sへ削減し22.8倍高速化。VisualEvidence-Setはroute supervisionとcounterfactual faithfulness testsに用いられる。

5. 議論はある?

要旨からは不明。テキストchain-of-thoughtの限界(無関係情報の干渉、自己回帰復号の遅延)を動機として挙げ、視覚的推論の有効性と低遅延性を主張しているが、限界や失敗事例、計算コストの詳細な議論は要旨に記載がない。

6. 次に読むべき論文は?

要旨で参照・比較されている研究としてECoT(Embodied Chain-of-Thought)が挙げられる。関連手法としてvision-language-action (VLA) policies、chain-of-thought reasoning、selective routing mechanism、VisualEvidence-Agentが言及されている。同分野の定番としてはRT-2、OpenVLAなどが考えられるが、要旨に明示はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingjian Gao, Wenqiao Zhang, Yuqian Yuan, Yang Dai, Binhe Yu, Zheqi Lv, Haoyu Zheng, Jiaqi Zhu, Zhiqi Ge, Zixuan Wan, Siliang Tang, Yueting Zhuang

分類: cs.CV, cs.AI

原文アブストラクト

Recent work has begun to equip vision-language-action (VLA) policies with explicit intermediate reasoning. In embodied control, however, textual chain-of-thought is a poor fit: irrelevant or weakly textual information can interfere with action prediction, while autoregressive text decoding adds too much latency for real-time closed-loop execution. We present VISUALTHINK-VLA, a visual intermediate-reasoning framework for accurate, low-latency VLA policies. Our bootstrapping philosophy is to guide action with effective visual thinking: VISUALTHINK-VLA bootstraps action prediction through a compact visual-evidence interface that preserves spatial precision while avoiding decoding overhead. Besides, to further improve performance and efficiency, VISUALTHINK-VLA adopts a tailored selective routing mechanism to learn the visual evidence tokens, enabling low-latency inference while preserving high-capacity specialization. We also introduce VisualEvidence-Kit, a supervision-and-audit resource centered on a VisualEvidence-Agent that constructs a 754.7k VLA instructions VisualEvidence-Set for route supervision and counterfactual faithfulness tests. Across multiple benchmarks and real-robot evaluation, VISUALTHINK-VLA achieves the highest success rate on most benchmarks while reducing the multi-second latency of reasoning-augmented baselines to the sub-second regime. For example, on BridgeData V2, it reduces step latency from 8.377,s with ECoT to 0.367,s, achieving a 22.8 times speedup.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI