日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.22895

H-VLA:キーアクション推論と運動計画を統合行動空間で行う階層型視覚-言語-行動モデル

H-VLA: Hierarchical Vision-Language-Action Model with Key-Action Reasoning and Motion Planning in a Unified Action Space

シェア:XThreadsFacebookLINEはてブBluesky

高レベルのキーアクション推論と低レベルの運動生成を分離し、統一されたカメラ中心行動空間でロボット操作を学習する階層型VLAフレームワークを提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための階層的VLAフレームワークH-VLAを提案。 - 高レベルのkey-action推論と低レベルのmotion生成を分離。 - Key-Action Model、Motion Planning Model、Unified Camera-Centric Action Spaceから構成。 - 2段階学習戦略を採用。

2. 先行研究と比べてどこがすごい?

- 既存VLAは言語・視覚から密な行動への直接マッピングに依存。 - そのためVLMの意味推論能力が弱まり、空間変動に脆弱。 - H-VLAは階層化により意味推論を保持し、物体位置・シーン配置・embodiment・視点変化に頑健。 - 実験でSimplerEnvや実機タスクの性能向上を確認。

3. 技術・手法の肝は?

- Key-Action Modelが次のサブゴールとなるkey-actionを予測。 - Motion Planning Modelがkey-actionを条件に密な未来行動を生成。 - Unified Camera-Centric Action Spaceでデータセット・embodiment・視点間の一貫表現を実現。 - 事前学習でkey-action推論、微調整で密なmotion生成を強調する2段階学習。

4. どうやって有効だと検証した?

- SimplerEnvで評価:Google Robot visual matching 91%、variant aggregation 84%、WidowX visual matching 81%。 - Agilex実機タスクで検証:in-distribution、out-of-distribution position、out-of-distribution scene/object設定で最強ベースラインをそれぞれ10、47、16ポイント上回る。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、一般化範囲についての議論は記載なし。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法としてVision-Language-Action (VLA) models、Vision-Language Models (VLMs)、SimplerEnv、Google Robot、WidowX、Agilexが挙げられる。 - 次に読むべき論文は要旨からは特定できない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiongfeng Peng, Lu Xu, Yandong Wang, Jiaqian Yu, Zirui Zheng, Yamin Mao, Weiming Li, Inseop Chung, Hyun-woong Cho, Jaewook Yoo, Dongwook Lee, Daehyun Ji, Chao Zhang

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have shown strong potential for robotic manipulation, but many existing methods still rely on direct mappings from language and visual observations to dense actions. This formulation can weaken the semantic reasoning capability inherited from pre-trained Vision-Language Models (VLMs), which are mainly optimized for visual-linguistic understanding rather than low-level control, and becomes fragile under spatial variations, including changes in object positions, scene layouts, robot embodiments, and camera viewpoints. To address these limitations, we propose H-VLA, a hierarchical VLA framework that decouples high-level key-action reasoning from low-level motion generation. H-VLA combines a Key-Action Model for predicting a key-action as the next manipulation subgoal, a Motion Planning Model for generating dense future actions conditioned on the predicted key-action, and a Unified Camera-Centric Action Space for consistent representation across datasets, embodiments, and viewpoints. We further adopt a two-stage training strategy that emphasizes key-action reasoning during pre-training and dense motion generation during fine-tuning. Experiments show that H-VLA achieves strong performance on SimplerEnv, reaching 91% on Google Robot visual matching, 84% on Google Robot variant aggregation, and 81% on WidowX visual matching. On Agilex real-robot tasks, H-VLA improves over the strongest baseline by 10, 47, and 16 percentage points under in-distribution, out-of-distribution position, and out-of-distribution scene/object settings, respectively.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI