日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2602.10399

LocoVLM: 視覚と言語を接地して多様な脚式移動ポリシーを適応させる

LocoVLM: Grounding Vision and Language for Adapting Versatile Legged Locomotion Policies

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルと視覚言語モデルを組み合わせ、環境の意味と指示に基づいて脚式ロボットの移動スキルをリアルタイムに選択・適応させる手法を提案。

詳しい要約

1. どんなもの?

- 脚式ロボットの移動ポリシー適応に、視覚言語モデルと大規模言語モデルを統合するLocoVLMを提案。 - 環境の意味論と人間の指示を接地し、リアルタイムにスキルを選択・制御。 - スタイル条件付きポリシーで多様な移動スキルを生成。 - クラウド上の基盤モデルへのオンラインクエリ不要で、指示追従精度最大87%を達成。

2. 先行研究と比べてどこがすごい?

- 従来の脚式移動学習は環境の幾何学的表現に依存し、高レベル意味論や人間指示への対応が限定的。 - 本研究は基盤モデルの常識推論を移動適応に統合し、リアルタイムで指示に基づくスキル選択を可能に。 - オンラインでクラウド基盤モデルに問い合わせることなく、指示追従精度87%を実現した初の試み。

3. 技術・手法の肝は?

- 事前学習済みLLMで指示に基づくスキルデータベースを合成。 - 事前学習済みVLMで環境の高レベル意味論を抽出し、スキルデータベースに接地。 - スタイル条件付きポリシーを訓練し、指定スタイルに忠実で多様かつ堅牢な移動スキルを生成。 - これによりリアルタイムのスキルアドバイザリを実現。

4. どうやって有効だと検証した?

- 要旨からは不明(具体的な実験設定や評価指標の詳細は記載されていない)。 - ただし、指示追従精度が最大87%であること、リアルタイム適応が可能であることが示されている。

5. 議論はある?

- 要旨からは不明(限界や議論の詳細は記載されていない)。 - オンラインクエリ不要で動作すること、指示追従精度87%という結果が強調されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、脚式移動学習(legged locomotion learning)、基盤モデル(foundation models)、視覚言語モデル(vision-language model)、大規模言語モデル(large language model)が挙げられる。 - 同分野の定番として、強化学習に基づく脚式移動ポリシー(例:PPO、SAC)や、視覚に基づく移動(例:Vision-based locomotion)が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: I Made Aswin Nahrendra, Seunghyun Lee, Dongkyu Lee, Hyun Myung

分類: cs.RO

原文アブストラクト

Recent advances in legged locomotion learning are still dominated by the utilization of geometric representations of the environment, limiting the robot's capability to respond to higher-level semantics such as human instructions. To address this limitation, we propose a novel approach that integrates high-level commonsense reasoning from foundation models into the process of legged locomotion adaptation. Specifically, our method utilizes a pre-trained large language model to synthesize an instruction-grounded skill database tailored for legged robots. A pre-trained vision-language model is employed to extract high-level environmental semantics and ground them within the skill database, enabling real-time skill advisories for the robot. To facilitate versatile skill control, we train a style-conditioned policy capable of generating diverse and robust locomotion skills with high fidelity to specified styles. To the best of our knowledge, this is the first work to demonstrate real-time adaptation of legged locomotion using high-level reasoning from environmental semantics and instructions with instruction-following accuracy of up to 87% without the need for online query to on-the-cloud foundation models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI