日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.22827

多段階ヒューマノイド操作のための階層的視覚言語プランニング

Hierarchical Vision-Language Planning for Multi-Step Humanoid Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルでスキル選択と完了判定を行う高レベル層、模倣学習による中間スキル層、強化学習による低レベル全身制御層からなる階層的枠組みを構築し、Unitree G1で多段階のピックアンドプレースを実現した。

詳しい要約

1. どんなもの?

- ヒューマノイドロボットによる複数ステップの manipulation タスクを安定的に実行するための階層型 planning・control フレームワーク - 三層構造: - 低層: whole-body motion target を追従する RL ベース controller - 中層: imitation learning で学習した skill policy 群が各ステップの motion target を生成 - 高層: pretrained VLM を用いた vision-language planning module が実行すべき skill の選択と完了のリアルタイム監視を担う - Unitree G1 humanoid robot 上での non-prehensile pick-and-place タスクを対象とする

2. 先行研究と比べてどこがすごい?

- 要旨からは不明(先行研究との具体的比較や優位性の記述はない) - ただし高層に pretrained VLM を置き skill 選択と完了監視を担わせる点、および低層 RL・中層 imitation learning と組み合わせた三層構成を特徴として提示している

3. 技術・手法の肝は?

- 階層分離が肝: - 低層 RL controller が whole-body motion target を追従 - 中層の imitation learning ベース skill policy がタスク各ステップの motion target を出力 - 高層の vision-language planning module が pretrained VLM で skill 選択と完了判定をリアルタイムに実施 - 高層が skill の実行順序決定と進捗監視を担うことで multi-step タスクを構成

4. どうやって有効だと検証した?

- Unitree G1 humanoid robot 上で non-prehensile pick-and-place タスクを実施 - 実世界で 40 回以上の trial を実施 - 階層システム全体で manipulation sequence の完遂成功率 73% を達成 - ビデオは https://vlp-humanoid.github.io/ で公開

5. 議論はある?

- 実験により提案する階層システムの feasibility を確認 - VLM ベースの skill planning と monitoring が multi-step manipulation に有効である利点を指摘 - 失敗事例や限界、今後の課題についての具体的議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない - 関連手法として挙げられている要素: RL-based whole-body controller、imitation learning による skill policy、pretrained vision-language models (VLMs) を用いた planning/monitoring - 同分野の定番として humanoid whole-body control や vision-language-action (VLA) 系の研究を次に読む候補として検討

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: André Schakkal, Ben Zandonati, Zhutian Yang, Navid Azizan

分類: cs.RO

原文アブストラクト

Enabling humanoid robots to reliably execute complex multi-step manipulation tasks is crucial for their effective deployment in industrial and household environments. This paper presents a hierarchical planning and control framework designed to achieve reliable multi-step humanoid manipulation. The proposed system comprises three layers: (1) a low-level RL-based controller responsible for tracking whole-body motion targets; (2) a mid-level set of skill policies trained via imitation learning that produce motion targets for different steps of a task; and (3) a high-level vision-language planning module that determines which skills should be executed and also monitors their completion in real-time using pretrained vision-language models (VLMs). Experimental validation is performed on a Unitree G1 humanoid robot executing a non-prehensile pick-and-place task. Over 40 real-world trials, the hierarchical system achieved a 73% success rate in completing the full manipulation sequence. These experiments confirm the feasibility of the proposed hierarchical system, highlighting the benefits of VLM-based skill planning and monitoring for multi-step manipulation scenarios. See https://vlp-humanoid.github.io/ for video demonstrations of the policy rollout.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI