日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.04315

GeneralVLA:知識誘導型軌道計画による汎化可能な視覚-言語-行動モデル

GeneralVLA: Generalizable Vision-Language-Action Models with Knowledge-Guided Trajectory Planning

シェア:XThreadsFacebookLINEはてブBluesky

基盤モデルの汎化能力を活かし、アフォーダンス認識・3D軌道計画・制御を階層化したVLAモデルを提案。実機データや人間の実演なしでゼロショットのマニピュレーションを実現する。

詳しい要約

1. どんなもの?

- 大規模基盤モデルの汎化をロボティクスに活かす階層型 VLA モデル GeneralVLA を提案。 - 高レベル ASM (Affordance Segmentation Module) が画像 keypoint affordance を認識。 - 中レベル 3DAgent がタスク理解・skill 知識・trajectory planning を行い 3D path を生成。 - 低レベル 3D-aware control policy がその path を guidance として精密操作を実行。 - zero-shot manipulation とロボット用データ自動生成を可能にする。

2. 先行研究と比べてどこがすごい?

- 実世界のロボットデータ収集や human demonstration を必要とせず、多様なタスク・視点へスケール可能。 - 14 タスクで trajectory を生成し、VoxPoser などの state-of-the-art を大きく上回る。 - 生成した demonstration は human demonstration や VoxPoser, Scaling-up, Code-As-Policies のデータより robust な behavior cloning policy を訓練できる。

3. 技術・手法の肝は?

- 階層型 VLA: 高レベル ASM、中レベル 3DAgent、低レベル 3D-aware control policy の三段構成。 - ASM は finetune され、画像 keypoint affordance を認識。 - 3DAgent がタスク理解・skill 知識・trajectory planning を担い、望ましい end-effector trajectory を示す 3D path を出力。 - その 3D path 予測を guidance として低レベル制御 policy が精密操作を実現。

4. どうやって有効だと検証した?

- 14 タスクで trajectory を生成し、VoxPoser など state-of-the-art と比較して有意に優位。 - 生成した demonstration で訓練した behavior cloning policy が、human demonstration や VoxPoser, Scaling-up, Code-As-Policies のデータで訓練したものより robust であることを確認。

5. 議論はある?

- 実世界ロボットデータや human demonstration 不要でスケーラブルと主張。 - zero-shot 設定での新規タスク解決とロボット用データ生成の両方に有効と位置づけ。 - 限界や失敗事例、計算コストなどの詳細は要旨からは不明。

6. 次に読むべき論文は?

- VoxPoser - Scaling-up - Code-As-Policies - behavior cloning - vision-language-action (VLA) model

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guoqing Ma, Siheng Wang, Zeyu Zhang, Shan Yu, Hao Tang

分類: cs.RO, cs.CV

原文アブストラクト

Large foundation models have shown strong open-world generalization to complex problems in vision and language, but similar levels of generalization have yet to be achieved in robotics. One fundamental challenge is that the models exhibit limited zero-shot capability, which hampers their ability to generalize effectively to unseen scenarios. In this work, we propose GeneralVLA (Generalizable Vision-Language-Action Models with Knowledge-Guided Trajectory Planning), a hierarchical vision-language-action (VLA) model that can be more effective in utilizing the generalization of foundation models, enabling zero-shot manipulation and automatically generating data for robotics. In particular, we study a class of hierarchical VLA model where the high-level ASM (Affordance Segmentation Module) is finetuned to perceive image keypoint affordances of the scene; the mid-level 3DAgent carries out task understanding, skill knowledge, and trajectory planning to produce a 3D path indicating the desired robot end-effector trajectory. The intermediate 3D path prediction is then served as guidance to the low-level, 3D-aware control policy capable of precise manipulation. Compared to alternative approaches, our method requires no real-world robotic data collection or human demonstration, making it much more scalable to diverse tasks and viewpoints. Empirically, GeneralVLA successfully generates trajectories for 14 tasks, significantly outperforming state-of-the-art methods such as VoxPoser. The generated demonstrations can train more robust behavior cloning policies than training with human demonstrations or from data generated by VoxPoser, Scaling-up, and Code-As-Policies. We believe GeneralVLA can be the scalable method for both generating data for robotics and solving novel tasks in a zero-shot setting. Code: https://github.com/AIGeeksGroup/GeneralVLA. Website: https://aigeeksgroup.github.io/GeneralVLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI