日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2603.07624

GeoLoco: 視覚基盤モデルの3D幾何学的先験知識を活用したRGBのみによる頑健な人型ロコモーション

GeoLoco: Leveraging 3D Geometric Priors from Visual Foundation Model for Robust RGB-Only Humanoid Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

深度センサーに頼らず、単眼RGB画像と視覚基盤モデルの幾何学的先験知識を用いて、シミュレーションのみで訓練した人型ロボットの歩行制御を実現し、実機へのゼロショット転送を可能にした。

詳しい要約

1. どんなもの?

- 純粋なRGB入力のみでヒューマノイドのlocomotionを実現するフレームワークGeoLocoを提案。 - 単眼画像をfrozenなscale-aware Visual Foundation Model (VFM)で高次元3D潜在表現に変換。 - シミュレーションのみで訓練し、Unitree G1へのzero-shot sim-to-real転移を達成。 - 困難な地形を踏破可能。

2. 先行研究と比べてどこがすごい?

- 従来のdepth-centricな知覚locomotionはdepthセンサに依存し、意味・外観情報を捨てていた。 - 単眼RGBからのend-to-end RLはサンプル効率が極端に低く、幾何スケール喪失によりsim-to-realが破綻。 - GeoLocoはVFMの幾何priorを活用し、RGBのみで頑健なzero-shot転移を実現。

3. 技術・手法の肝は?

- frozenでscale-awareなVFMにより単眼画像を高次元3D潜在表現化。 - proprioceptive-query multi-head cross-attentionで、歩行位相に条件づけられたタスク重要トポロジー特徴を動的に注目。 - dual-head auxiliary learning schemeで高次元潜在空間を物理地形幾何に厳密に整列させ、見かけのテクスチャへの過学習を防止。

4. どうやって有効だと検証した?

- シミュレーションのみで訓練し、Unitree G1ヒューマノイドへのzero-shot sim-to-real転移を検証。 - 困難な地形の踏破に成功。 - 詳細な評価指標や比較実験は要旨からは不明。

5. 議論はある?

- depth-centric手法の限界とRGBの情報密度の高さを議論。 - 単眼RGB end-to-end RLのサンプル非効率とsim-to-real崩壊を指摘。 - VFMの幾何priorとattention機構、dual-head正則化の有効性を示唆。 - 限界や今後の課題は要旨からは不明。

6. 次に読むべき論文は?

- Visual Foundation Model (VFM) を用いたlocomotion研究。 - proprioceptive-query multi-head cross-attentionを採用したロボティクス研究。 - dual-head auxiliary learning schemeに関する研究。 - Unitree G1を用いたsim-to-real転移研究。 - 具体的な参照論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yufei Liu, Xieyuanli Chen, Hainan Pan, Chenghao Shi, Yanjie Chen, Kaihong Huang, Zhiwen Zeng, Huimin Lu

分類: cs.RO

原文アブストラクト

The prevailing paradigm of perceptive humanoid locomotion relies heavily on active depth sensors. However, this depth-centric approach fundamentally discards the rich semantic and dense appearance cues of the visual world, severing low-level control from the high-level reasoning essential for general embodied intelligence. While monocular RGB offers a ubiquitous, information-dense alternative, end-to-end reinforcement learning from raw 2D pixels suffers from extreme sample inefficiency and catastrophic sim-to-real collapse due to the inherent loss of geometric scale. To break this deadlock, we propose GeoLoco, a purely RGB-driven locomotion framework that conceptualizes monocular images as high-dimensional 3D latent representations by harnessing the powerful geometric priors of a frozen, scale-aware Visual Foundation Model (VFM). Rather than naive feature concatenation, we design a proprioceptive-query multi-head cross-attention mechanism that dynamically attends to task-critical topological features conditioned on the robot's real-time gait phase. Crucially, to prevent the policy from overfitting to superficial textures, we introduce a dual-head auxiliary learning scheme. This explicit regularization forces the high-dimensional latent space to strictly align with the physical terrain geometry, ensuring robust zero-shot sim-to-real transfer. Trained exclusively in simulation, GeoLoco achieves robust zero-shot transfer to the Unitree G1 humanoid and successfully negotiates challenging terrains.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI