LeVERB: 潜在視覚言語指示によるヒューマノイド全身制御

- ヒューマノイドの全身制御（WBC）向けに、視覚言語指示で動作する階層型フレームワーク LeVERB を提案する研究。 - あわせて、sim-to-real 可能な視覚言語・閉ループのヒューマノイド WBC ベンチマークを新たに導入。 - 10 カテゴリ・150 以上のタスクから構成。 - 上位の vision-language policy が latent action vocabulary を学習し、下位の reinforcement-learned WBC policy がそれを dynamics-level コマンドへ変換する。 - 単純な視覚ナビゲーションで zero-shot 80%、全体で 58.5% の成功率を報告。

- 既存の VLA モデルは、end-effector pose や root velocity など手設計の action "vocabulary" を持つ正確な低レベル制御器を前提としていた。 - その前提のため、従来研究は quasi-static なタスクに限定され、ヒューマノイド WBC に必要な agile な全身行動を扱えなかった。 - 本研究はこのギャップを明示し、視覚言語・閉ループのヒューマノイド WBC ベンチマークを初めて導入。 - LeVERB は同種の階層型 latent instruction-following フレームワークとして初の試みと位置づけられる。 - naive な階層型 whole-body VLA 実装と比べ 7.8 倍の性能向上を報告。

- 階層型の latent instruction-following フレームワーク。 - 上位レベル：vision-language policy が、合成的にレンダリングされた kinematic demonstrations から latent action vocabulary を学習。 - 下位レベル：reinforcement learning で学習した WBC policy が、この latent verbs を入力として dynamics-level commands を生成。 - 手設計の action vocabulary ではなく、latent な動詞表現を介して視覚言語指示と全身制御を接続する点が肝。 - ベンチマークは sim-to-real-ready な視覚言語・閉ループ構成。

- 新規ベンチマーク上で LeVERB を評価。 - 単純な視覚ナビゲーションタスクで zero-shot 80% の成功率。 - 全体では 58.5% の成功率。 - naive な階層型 whole-body VLA 実装と比較して 7.8 倍の性能。 - ベンチマークは 10 カテゴリ・150 以上のタスクを含む。

- 従来 VLA が前提とする低レベル制御器と手設計 action vocabulary の限界を指摘し、agile な全身行動への拡張を議論。 - ベンチマークは sim-to-real-ready とされるが、実機での検証詳細は要旨からは不明。 - 全体成功率 58.5% であり、複雑タスクへの性能限界や改善余地については要旨からは不明。 - latent action vocabulary の解釈性や汎化性に関する議論は要旨からは不明。

- 要旨で比較対象として明示される naive な階層型 whole-body VLA 実装。 - 背景として言及される VLA モデル全般（vision-language-action models）。 - 低レベル制御器として前提される end-effector pose / root velocity ベースの手法。 - 下位層で用いられる reinforcement learning による WBC policy 関連研究。 - 具体的な論文名は要旨からは不明。