日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.11404

ACoT-VLA: 視覚言語行動モデルのための行動連鎖推論

ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

行動空間で直接推論する「行動連鎖推論(ACoT)」を提案し、粗い行動意図を明示的・暗黙的に生成して最終方策を導くVLAアーキテクチャを実現した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの新パラダイム ACoT (Action Chain-of-Thought) を提案する研究。 - 従来の VLA は multimodal 入力を直接 action に変換するが、本稿は action 空間で直接推論することを主張。 - ACoT は粗い action intent の構造的系列として推論過程を定式化し、最終 policy を導く。 - 具現化として ACoT-VLA を提案。Explicit Action Reasoner (EAR) と Implicit Action Reasoner (IAR) の2要素から成る。 - EAR は粗い参照 trajectory を明示的 action-level 推論ステップとして提案。 - IAR は multimodal 入力の内部表現から latent action prior を抽出。 - 両者が ACoT を形成し、下流の action head を条件付け、grounded な policy 学習を可能にする。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は multimodal 入力を VLM embedding 経由で直接 action に変換する方式が主流。 - 近年は sub-task prediction (language) や goal image synthesis (vision) など明示的 intermediate reasoning を導入する研究がある。 - しかしこれらの intermediate reasoning は間接的で、精密な action 実行に必要な粒度の情報を伝える能力が本質的に限られる。 - 本稿は最も効果的な reasoning は action 空間で直接熟考するものだと主張。 - ACoT は reasoning 過程自体を粗い action intent の構造的系列として定式化する点で先行研究と異なる。 - 実世界および simulation 環境での広範な実験で提案手法の優位性を示す。

3. 技術・手法の肝は?

- ACoT パラダイム: reasoning 過程を粗い action intent の構造的系列として定式化し、最終 policy を導く。 - ACoT-VLA アーキテクチャで具現化。 - Explicit Action Reasoner (EAR): 粗い参照 trajectory を明示的 action-level 推論ステップとして提案。 - Implicit Action Reasoner (IAR): multimodal 入力の内部表現から latent action prior を抽出。 - EAR と IAR が協調して ACoT を形成。 - ACoT が下流の action head を条件付け、grounded な policy 学習を可能にする。 - 詳細なネットワーク構成や学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- 実世界 (real-world) および simulation 環境での広範な実験を実施。 - 提案手法の優位性 (superiority) を実証したと述べられている。 - 具体的なタスク、ベースライン、評価指標、データセットは要旨からは不明。 - コードは https://github.com/AgibotTech/ACoT-VLA で公開。

5. 議論はある?

- 従来の intermediate reasoning (sub-task prediction や goal image synthesis) は間接的で、精密な action 実行に必要な粒度の情報を伝える能力が限られると指摘。 - 最も効果的な reasoning は action 空間で直接熟考するものだという立場を提示。 - 限界、失敗事例、計算コスト、汎化性などの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: sub-task prediction (language) を用いた VLA、goal image synthesis (vision) を用いた VLA。 - 関連手法: Vision-Language-Action (VLA) モデル、Vision-Language Model (VLM) embedding による直接 action 変換。 - 同分野の定番: RT-1, RT-2, OpenVLA などの generalist robot policy。 - 提案手法のコード: https://github.com/AgibotTech/ACoT-VLA

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Linqing Zhong, Yi Liu, Yifei Wei, Ziyu Xiong, Maoqing Yao, Si Liu, Guanghui Ren

分類: cs.RO

原文アブストラクト

Vision-Language-Action models have emerged as essential generalist robot policies for diverse manipulation tasks, conventionally relying on directly translating multimodal inputs into actions via Vision-Language Model embeddings. Recent advancements have introduced explicit intermediary reasoning-such as sub-task prediction (language) or goal image synthesis (vision)-to guide action generation. However, these intermediate reasoning are often indirect and inherently limited in their capacity to convey the full, granular information required for precise action execution. Instead, we posit that the most effective form of reasoning is one that deliberates directly in the action space. We introduce Action Chain-of-Thought (ACoT), a paradigm where the reasoning process itself is formulated as a structured sequence of coarse action intents that guide the final policy. In this paper, we propose ACoT-VLA, a novel architecture that materializes the ACoT paradigm. Specifically, we introduce two complementary components: an Explicit Action Reasoner (EAR) and Implicit Action Reasoner (IAR). The former proposes coarse reference trajectories as explicit action-level reasoning steps, while the latter extracts latent action priors from internal representations of multimodal input, co-forming an ACoT that conditions the downstream action head to enable grounded policy learning. Extensive experiments in real-world and simulation environments demonstrate the superiority of our proposed method. Code is available at: https://github.com/AgibotTech/ACoT-VLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI