日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.14523

VLA-Thinker: 画像思考による視覚言語行動モデルの性能向上

VLA-Thinker: Boosting Vision-Language-Action Models through Thinking-with-Image Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

視覚入力を動的に再参照できる思考フレームワークを導入し、2段階学習でロボット操作性能を大幅に向上させた。

詳しい要約

1. どんなもの?

- VLA-Thinker は Vision-Language-Action (VLA) モデルの推論能力を高めるフレームワーク。 - 知覚を動的に呼び出せる reasoning action として扱う thinking-with-image 推論を提案。 - 長期的タスクでの曖昧さ解消や環境の再参照を可能にする。 - LIBERO と RoboTwin 2.0 で評価。

2. 先行研究と比べてどこがすごい?

- 既存 VLA は主に text-based chain-of-thought 推論に依存。 - 視覚入力を静的な文脈として扱うため、環境の能動的な再参照が困難。 - VLA-Thinker は視覚を動的に呼び出せる推論行動として扱う点が新しい。 - 長期的タスクでの性能向上を実現。

3. 技術・手法の肝は?

- 二段階の学習パイプラインを導入。 - 第一段階: 厳選した visual Chain-of-Thought データによる SFT cold-start で構造化推論と tool-use を活性化。 - 第二段階: GRPO ベースの強化学習で推論-行動軌跡全体をタスク成功に整合。 - 知覚を動的に呼び出せる reasoning action としてモデル化。

4. どうやって有効だと検証した?

- LIBERO と RoboTwin 2.0 ベンチマークで広範な実験。 - LIBERO で 97.5% の成功率を達成。 - 長期的ロボットタスクで大きな性能向上を確認。 - 操作性能の有意な改善を示す。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、汎化性に関する議論は記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として GRPO、SFT、Chain-of-Thought、VLA モデル全般が挙げられる。 - 同分野の定番として LIBERO、RoboTwin 2.0 ベンチマーク関連の研究が次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chaoyang Wang, Wenrui Bao, Sicheng Gao, Bingxin Xu, Yu Tian, Yogesh S. Rawat, Yunhao Ge, Yuzhang Shang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have shown promising capabilities for embodied intelligence, but most existing approaches rely on text-based chain-of-thought reasoning where visual inputs are treated as static context. This limits the ability of the model to actively revisit the environment and resolve ambiguities during long-horizon tasks. We propose VLA-Thinker, a thinking-with-image reasoning framework that models perception as a dynamically invocable reasoning action. To train such a system, we introduce a two-stage training pipeline consisting of (1) an SFT cold-start phase with curated visual Chain-of-Thought data to activate structured reasoning and tool-use behaviors, and (2) GRPO-based reinforcement learning to align complete reasoning-action trajectories with task-level success. Extensive experiments on LIBERO and RoboTwin 2.0 benchmarks demonstrate that VLA-Thinker significantly improves manipulation performance, achieving 97.5% success rate on LIBERO and strong gains across long-horizon robotic tasks. Project and Codes: https://cywang735.github.io/VLA-Thinker/ .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI