日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2603.29452

CReF: 深度条件付きヒューマノイド歩行のためのクロスモーダル・リカレント融合

CReF: Cross-modal and Recurrent Fusion for Depth-conditioned Humanoid Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

生の深度画像から直接歩行制御を学習する単段階のヒューマノイド歩行フレームワークを提案し、シミュレーションと実機で多様な地形の踏破とゼロショット転移を実証した。

詳しい要約

1. どんなもの?

- ヒューマノイドのdepth-conditioned locomotionのための単段階フレームワークCReFを提案。 - 生の前方depthから直接locomotion関連特徴を学習し、明示的な幾何中間表現を排除。 - proprioceptionとdepthトークンをcross-modal attentionで結合し、GRUで時間統合。 - 地形対応のfoothold配置報酬を導入。 - シミュレーションと実機で多様な地形を走破し、zero-shot転移を実証。

2. 先行研究と比べてどこがすごい?

- 従来の知覚型ヒューマノイドlocomotionは、robot-centric 2.5D地形表現を介した制御や、補助的な幾何関連ターゲットでdepth学習を形成する手法が多かった。 - これらは有効だが、map-construction手順や多段階のskill-transferプロセスを必要とした。 - CReFは単段階でraw depthから直接制御を学習し、明示的な幾何中間表現を不要とする点が異なる。

3. 技術・手法の肝は?

- proprioception-queried cross-modal attentionでproprioceptionとdepthトークンを結合。 - 得られた表現をgated residual fusion blockで融合。 - Gated Recurrent Unit (GRU)による時間統合を行い、highway-style output gateでrecurrentとfeedforward特徴を状態依存的にブレンド。 - terrain-aware foothold placement rewardを導入し、foot-end point-cloudサンプルから支持可能なfoothold候補を抽出し、最近傍候補に近い着地位置を報酬化。

4. どうやって有効だと検証した?

- シミュレーションと物理ヒューマノイドでの実験を実施。 - 多様な地形の走破と、handrails、hollow pallet assemblies、severe reflective interference、visually cluttered outdoor surroundingsを含む実世界シーンへの効果的なzero-shot転移を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究は明示されていない。 - 関連手法として、robot-centric 2.5D terrain representationsを介するperceptive humanoid locomotion、auxiliary geometry-related targetsでdepth学習を形成する手法、multi-stage skill-transfer、GRU、cross-modal attention、gated residual fusion、highway-style output gate、terrain-aware foothold placement rewardなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuan Hao, Ruiqi Yu, Shixin Luo, Guoteng Zhang, Jun Wu, Qiuguo Zhu

分類: cs.RO

原文アブストラクト

Stable traversal over geometrically complex terrain increasingly requires exteroceptive perception, yet prior perceptive humanoid locomotion methods often remain tied to explicit geometric abstractions, either by mediating control through robot-centric 2.5D terrain representations or by shaping depth learning with auxiliary geometry-related targets. While effective, these approaches introduce additional map-construction procedures or multi-stage skill-transfer processes beyond direct depth-to-control learning. We propose CReF (Cross-modal and Recurrent Fusion), a single-stage depth-conditioned humanoid locomotion framework that learns locomotion-relevant features directly from raw forward-facing depth without explicit geometric intermediates. CReF couples proprioception and depth tokens through proprioception-queried cross-modal attention, fuses the resulting representation with a gated residual fusion block, and performs temporal integration with a Gated Recurrent Unit (GRU) regulated by a highway-style output gate for state-dependent blending of recurrent and feedforward features. To further improve terrain interaction, we introduce a terrain-aware foothold placement reward that extracts supportable foothold candidates from foot-end point-cloud samples and rewards touchdown locations that lie close to the nearest supportable candidate. Experiments in simulation and on a physical humanoid demonstrate robust traversal over diverse terrains and effective zero-shot transfer to real-world scenes containing handrails, hollow pallet assemblies, severe reflective interference, and visually cluttered outdoor surroundings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI