日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.22183

視覚プリミティブによる行動生成

Action with Visual Primitives

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルにおいて、視覚プリミティブを介して行動生成を行う新しいアーキテクチャを提案し、実ロボットのピックアンドプレースタスクで成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの新アーキテクチャ AVP (Action with Visual Primitives) を提案。 - VLM が次段階の目標を推論し、visual-primitive tokens を出力。 - その tokens が flow-matching action expert を条件付け、end-effector kinematics から教師信号を得る end-to-end 構成。 - 一般的な pick-and-place タスクを対象とする。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は言語指示・視覚観測から単一 forward pass で行動を出力し、指示理解・空間理解・運動制御を一つの学習目的に混在させていた。 - そのため action expert が pretrained VLM に既にある認知・知覚能力を暗黙に再学習する必要があり、学習効率と汎化が制限されていた。 - AVP は visual-primitive-centric interface によりこれらを分離し、実機 pick-and-place で pi_0.5 比 +37.04% の成功率、data efficiency・spatial-compositional generalization・object-level transfer でも一貫した改善を示す。

3. 技術・手法の肝は?

- VLM が次段階の target を推論し、visual-primitive tokens を生成。 - その tokens を条件として flow-matching action expert が行動を生成。 - 教師信号は end-effector kinematics から導出。 - 全体を end-to-end で学習する visual-primitive-centric interface が肝。

4. どうやって有効だと検証した?

- 実ロボットによる general pick-and-place タスクで評価。 - pi_0.5 に対し成功率 +37.04%。 - 他の最近手法も上回る。 - data efficiency、spatial-compositional generalization、object-level transfer で一貫した利得を確認。

5. 議論はある?

- 要旨からは不明。 - 明示的な議論・限界・失敗事例の記述は要旨に含まれない。

6. 次に読むべき論文は?

- pi_0.5 (比較対象として要旨で言及)。 - その他の recent methods (要旨で具体的名称なし)。 - 関連する Vision-Language-Action (VLA) モデル、flow-matching 行動生成、visual primitives を用いるロボットマニピュレーション研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weilong Guo, Yuchen Wang, Renping Zhou, Yunfeng Zhang, Rui Fang, Yuyang Pang, Wenda Xu, Gao Huang

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models have emerged as a promising paradigm for generalist robotic manipulation. A common design in current architectures maps language instructions and visual observations to actions in a single forward pass. While conceptually simple, this formulation entangles instruction comprehension, spatial scene understanding, and motor control within a single learning objective. As a result, the action expert must implicitly relearn cognitive and perceptual capabilities already present in the pretrained VLM, which can limit both learning efficiency and generalization. We introduce AVP (Action with Visual Primitives), an end-to-end architecture that implements this visual-primitive-centric interface: the VLM infers the next-stage target and emits visual-primitive tokens that condition a flow-matching action expert, with supervision derived from end-effector kinematics. Real-robot experiments on general pick-and-place tasks show that AVP improves the success rate by 37.04% over pi_0.5 and outperforms other recent methods, with consistent gains in data efficiency, spatial-compositional generalization, and object-level transfer.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI