日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.07107

粗から精密へ:視覚言語行動モデルのためのアクショントークン計画

Coarse-to-Control: Action-Token Planning for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルに、将来の軌道を要約する粗いアクショントークンの計画を導入し、その計画に基づいて実行用のアクショントークンを生成する方式を提案。長期的なタスクでの性能が向上した。

詳しい要約

1. どんなもの?

- 提案: Coarse-to-Control という plan-execute 型の VLA - 観測から直接 action を出すのではなく、まず coarse action token 列を計画として予測 - その計画に条件づけて実行可能な action token を生成 - planning と execution が unified discrete action vocabulary を共有 - 対象: long-horizon な manipulation タスク

2. 先行研究と比べてどこがすごい?

- 多くの VLA は観測→action を直接写像し、明示的な中間 planning を持たない - そのため long-horizon タスクで初期の誤りが累積し性能が制限される - 提案は planning を action-token 空間に native に導入 - plan が control manifold に近く、抽象的な hint を motor command に翻訳する必要がない点が従来と異なる - 直接 action 生成より一貫して改善、特に long-horizon multi-stage で利得が最大

3. 技術・手法の肝は?

- plan-execute 構成の VLA - まず意図した未来軌道を要約する compact な coarse action token 列を予測 - 次にこの plan に条件づけて executable action token を生成 - planning と execution が unified discrete action vocabulary を共有 - これにより plan が control manifold に近づき、直接実行可能な guidance になる - 詳細な architecture や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- LIBERO で評価 - SimplerEnv-WidowX で評価 - real-world manipulation タスクで評価 - action-token planning が direct action generation を一貫して上回ることを確認 - 特に long-horizon multi-stage タスクで最大の改善

5. 議論はある?

- 要旨からは不明 - 限界、失敗例、計算コスト、plan の粒度選択、real-world での詳細条件などは記述されていない

6. 次に読むべき論文は?

- LIBERO - SimplerEnv-WidowX - 関連手法として vision-language-action (VLA) models、plan-execute 型 VLA、action token ベースの planning を参照

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinhao Wu, Shiduo Zhang, Yicheng Liu, Xiaopeng Yu, Sixian Li, Siyin Wang, Hang Zhao, Jing Huo, Yang Gao, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

分類: cs.RO

原文アブストラクト

Most vision-language-action (VLA) models map observations directly to actions without explicit intermediate planning, which limits performance on long-horizon tasks where early mistakes compound. We propose Coarse-to-Control, a plan-execute VLA that introduces planning natively in the action-token space. The key idea is to let the policy first predict a compact sequence of coarse action tokens that summarize the intended future trajectory, and then generate executable action tokens conditioned on this plan. Because both planning and execution share a unified discrete action vocabulary, the plan stays close to the control manifold and provides directly actionable guidance rather than an abstract hint that must be translated back to motor commands. Experiments on LIBERO, SimplerEnv-WidowX, and real-world manipulation tasks show that action-token planning consistently improves over direct action generation, with the largest gains on long-horizon multi-stage tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI