日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.22280

DualCoT-VLA: 視覚と言語の連鎖的推論を並列化した視覚言語行動モデル

DualCoT-VLA: Visual-Linguistic Chain of Thought via Parallel Reasoning for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

複雑なタスクで苦戦するVLAモデルに対し、視覚的CoTと言語的CoTを並列に統合し、推論遅延を減らして高性能を実現した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの新手法 DualCoT-VLA を提案。 - 視覚的 Chain-of-Thought (CoT) と言語的 CoT を統合し、並列推論機構を導入。 - 複雑な多段階タスクと精密操作の両方に対応することを目指す。 - LIBERO と RoboCasa GR1 ベンチマーク、実世界プラットフォームで評価。

2. 先行研究と比べてどこがすごい?

- 従来の CoT ベース VLA は単一モーダルの CoT に依存し、低レベル視覚詳細と高レベル論理計画を同時に捉えられない。 - また、逐次自己回帰デコードによる推論遅延と誤差蓄積が問題。 - 提案手法は視覚と言語の CoT を統合し、並列推論で遅延を克服。 - ベンチマークで state-of-the-art 性能を達成。

3. 技術・手法の肝は?

- 視覚 CoT で低レベル空間理解、言語 CoT で高レベルタスク計画を担当。 - 並列 CoT 機構を導入し、2 組の学習可能な query token を活用。 - 自己回帰推論を単一ステップの順伝播推論に変換。 - これにより多モーダル推論を包括的に実現。

4. どうやって有効だと検証した?

- LIBERO および RoboCasa GR1 ベンチマークで実験。 - 実世界プラットフォームでも評価。 - これらの実験で state-of-the-art 性能を達成したと報告。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Chain-of-Thought (CoT) を用いた VLA モデル、Vision-Language-Action (VLA) モデル全般が挙げられる。 - ベンチマークである LIBERO や RoboCasa GR1 に関する論文も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhide Zhong, Junfeng Li, Junjie He, Haodong Yan, Xin Gong, Guanyi Zhao, Yingjie Cai, Jiantao Gao, Xu Yan, Bingbing Liu, Yingcong Chen, Liuqing Yang, Haoang Li

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models map visual observations and language instructions directly to robotic actions. While effective for simple tasks, standard VLA models often struggle with complex, multi-step tasks requiring logical planning, as well as precise manipulations demanding fine-grained spatial perception. Recent efforts have incorporated Chain-of-Thought (CoT) reasoning to endow VLA models with a ``thinking before acting'' capability. However, current CoT-based VLA models face two critical limitations: 1) an inability to simultaneously capture low-level visual details and high-level logical planning due to their reliance on isolated, single-modal CoT; 2) high inference latency with compounding errors caused by step-by-step autoregressive decoding. To address these limitations, we propose DualCoT-VLA, a visual-linguistic CoT method for VLA models with a parallel reasoning mechanism. To achieve comprehensive multi-modal reasoning, our method integrates a visual CoT for low-level spatial understanding and a linguistic CoT for high-level task planning. Furthermore, to overcome the latency bottleneck, we introduce a parallel CoT mechanism that incorporates two sets of learnable query tokens, shifting autoregressive reasoning to single-step forward reasoning. Extensive experiments demonstrate that our DualCoT-VLA achieves state-of-the-art performance on the LIBERO and RoboCasa GR1 benchmarks, as well as in real-world platforms.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI