日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.19859

知覚と行動の統合:暗黙的視覚Chain-of-Thoughtを用いたハイブリッドモダリティパイプラインによるロボット行動生成

Unifying Perception and Action: A Hybrid-Modality Pipeline with Implicit Visual Chain-of-Thought for Robotic Action Generation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語と行動を共有の離散潜在空間で統合し、暗黙的な視覚Chain-of-Thoughtで将来フレーム予測とロボット行動を同時に生成するVITAフレームワークを提案。シミュレーションと実環境で既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルによるロボット行動生成の研究 - 視覚と行動を統合する VITA (Vision-Integrated Trajectory Alignment) フレームワークを提案 - 視覚と行動の共有離散潜在空間を学習し、知覚と運動制御を joint modeling - implicit visual CoT を導入し、自己回帰生成トークンを将来フレーム予測とロボット行動に同時デコード - シミュレーションと実環境で評価

2. 先行研究と比べてどこがすごい?

- 従来の text-only CoT は複雑な空間環境のシーン詳細を十分捉えられない - 視覚 prior で行動生成を導く既存戦略には2つの課題 - 視覚観測と低レベル行動の modality gap - 視覚予測と行動生成の競合目的による不安定な学習 - VITA は共有離散潜在空間でこれらを緩和 - CALVIN, LIBERO, SimplerEnv で既存 baseline を 14.5%, 9.6%, 12.1% 改善

3. 技術・手法の肝は?

- 視覚と行動の共有離散潜在空間を学習 - 知覚と運動制御を joint modeling - implicit visual CoT: 自己回帰生成トークンを将来フレーム予測とロボット行動に同時デコード - 視覚 dynamics を motion planning の inductive bias として内部化 - 詳細なアーキテクチャは要旨からは不明

4. どうやって有効だと検証した?

- シミュレーション環境と実世界環境で実験 - CALVIN, LIBERO, SimplerEnv で既存 baseline を上回る state-of-the-art 性能 - 改善幅はそれぞれ 14.5%, 9.6%, 12.1% - 実世界6タスクで平均成功率 80.5% - 汎用ロボットマニピュレーションモデルとしての可能性を示す

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、計算コスト、実環境での汎化性に関する議論は明記されていない

6. 次に読むべき論文は?

- text-only CoT を用いた VLA 研究 - 視覚 prior で行動生成を導く既存戦略 - CALVIN, LIBERO, SimplerEnv 上の baseline 手法 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangkai Ma, Lekai Xing, Han Zhang, Wenzhong Li, Sanglu Lu

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models built upon Chain-of-Thought (CoT) have achieved remarkable success in advancing general-purpose robotic agents, owing to its significant perceptual comprehension. Recently, since text-only CoT struggles to adequately capture scene details in complex spatial environments, a highly promising strategy involves leveraging visual priors to guide robotic action generation. Nevertheless, these strategies face two inherent challenges: (i) a modality gap between visual observations and low-level actions, and (ii) unstable training due to competing objectives between visual prediction and action generation. To address these challenges, we propose a Vision-Integrated Trajectory Alignment (VITA) framework that learns a shared discrete latent space for vision and action, enabling joint modeling of perception and motor control. VITA introduces a implicit visual CoT: autoregressively generated tokens is simultaneously decoded into future frames predictions and robot actions, thereby internalizing visual dynamics as an inductive bias for motion planning. Extensive experiments on simulated and real-world environments demonstrate state-of-the-art performance. VITA improves 14.5\%, 9.6\% and 12.1\% over existing baselines on CALVIN, LIBERO and SimplerEnv. Furthermore, VITA attains an average success rate of 80.5\% across six real-world tasks, demonstrating its potential as a generalist robotic manipulation model.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI