日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.17937

ThinkingVLA: ロボット操作のための視覚と言語の推論を交互に行う手法

ThinkingVLA: Interleaved Vision and Language Reasoning for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作タスクにおいて、視覚と言語の推論を交互に行う統一アーキテクチャを提案し、長期的な操作タスクでの性能を向上させた。

詳しい要約

1. どんなもの?

- 提案手法: ThinkingVLA - Vision-Language-Action (VLA) モデル - 視覚と言語の推論を交互に生成する - ロボットマニピュレーションのための生成モデル - 目的: 長期的なタスクにおける推論能力の向上 - 従来のVLAは観測から直接行動をマッピング - 明示的な推論が欠如 - アーキテクチャ: Mixture-of-Transformers - 統合された自己回帰モデル - テキストと視覚の推論を単一生成プロセスで交互に処理

2. 先行研究と比べてどこがすごい?

- 先行研究: Chain-of-Thought (CoT) 推論を採用 - サブゴール分解と空間予測を実現 - しかし、クロスモーダル推論の統一アーキテクチャが欠如 - 目標状態に基づく逆推論能力が明示的に含まれない - 提案手法の優位性: - 統一された自己回帰アーキテクチャで順方向と逆方向のCoTを統合 - 予測と逆動力学を単一モデルで実現 - 長期的マニピュレーションタスクで大幅な性能向上

3. 技術・手法の肝は?

- 統一アーキテクチャ: Mixture-of-Transformers - 自己回帰生成プロセス - テキストと視覚の推論を交互に生成 - 順方向CoT: - 即時サブゴールを特定 - 視覚予測をガイド - 逆方向CoT: - 予測画像を目標状態として接地 - 空間関係と行動意図を推論 - 行動生成: - 完全な推論コンテキストに条件付け - 最終行動を生成

4. どうやって有効だと検証した?

- 実験設定: - シミュレーションベンチマーク - 実世界ベンチマーク - 結果: - 最先端ベースラインを一貫して上回る - 特に長期的マニピュレーションタスクで大きな向上 - 詳細な評価指標やタスクは要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や議論点についての記述なし - 今後の課題や応用可能性についても言及なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: - Chain-of-Thought (CoT) 推論を採用した既存のVLAモデル - 具体的な論文名は要旨に記載なし - 関連手法: - Vision-Language-Action (VLA) モデル - Mixture-of-Transformers - 逆動力学 (inverse dynamics) - 同分野の定番: - RT-1, RT-2, PaLM-E など(一般名として)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyi Lu, Hui Zhang, Zijie Diao, Junke Wang, Shengqi Xu, Xingyao Lin, Guojin Zhong, Ziyi Ye, Peng Wang, Zuxuan Wu, Yu-Gang Jiang

分類: cs.RO

原文アブストラクト

Most Vision-Language-Action (VLA) models map observations directly to actions without explicit reasoning, limiting their capacity for reasoning-intensive long-horizon tasks. To address this, existing approaches adopt Chain-of-Thought (CoT) reasoning to enable subgoal decomposition and spatial anticipation. However, those methods lack a unified architecture for effective cross-modal reasoning and fail to explicitly include inverse reasoning ability based on the target state. We argue that manipulation planning naturally decomposes into prediction, anticipating the next visual state, and inverse dynamics, inferring the actions to reach it. Bridging both requires a unified autoregressive architecture that interleaves textual and visual reasoning in a single generation process. We propose \textbf{ThinkingVLA}, a generative model that realizes this decomposition within a unified Mixture-of-Transformers architecture. ThinkingVLA consists of a forward CoT that identifies the immediate subgoal and guides the visual forecasting; the predicted image then serves as the target state, grounding an inverse CoT that reasons about spatial relationships and action intent based on the predicted image; and the final action is generated conditioned on this full reasoning context. Extensive experiments on simulation and real-world benchmarks demonstrate that ThinkingVLA consistently outperforms state-of-the-art baselines, with particularly large gains on long-horizon manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI