日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2606.07118

QuadVerse: 四足歩行シミュレーションのための視覚と物理の現実を統合するフレームワーク

QuadVerse: An Integrated Framework Aligning Visual-Physical Reality for Quadruped Simulation

シェア:XThreadsFacebookLINEはてブBluesky

RGB動画から再構成した3Dシーンを基盤に、視覚・接触・アクチュエータの各ギャップを統合的に補正し、実機データなしで視覚ナビゲーションをゼロショット展開できる四足歩行シミュレーションフレームワークを提案した。

詳しい要約

1. どんなもの?

- 四足歩行ロボットのsim-to-realギャップを統合的に解決するフレームワーク「QuadVerse」を提案。 - 視覚・物理・アクチュエータの各ギャップを個別ではなく統合的に扱い、再構成シーンをキャリブレーション基盤として利用。 - RGB動画から3D Gaussian Splatting (3DGS) シーンを再構成し、フォトリアリスティックな自我視点レンダリングと衝突可能なセマンティックメッシュ抽出を実現。 - メッシュを用いた接触キャリブレーションと残差ダイナミクス補償器の訓練により、ゼロショット視覚ナビゲーションポリシーの展開を可能にする。

2. 先行研究と比べてどこがすごい?

- 既存手法は視覚ギャップと動的ギャップを別々に扱うことが多く、個々のミスマッチが状態進化を通じて累積・伝播する影響を見落としていた。 - QuadVerseは視覚・物理・アクチュエータのギャップを統合的に調整し、累積誤差を低減する点が新しい。 - 再構成シーンをキャリブレーション基盤として活用し、タスク固有の実世界ロールアウトなしでゼロショット視覚ナビゲーションを実現。

3. 技術・手法の肝は?

- RGB動画から幾何制約付き3D Gaussian Splatting (3DGS) シーンを再構成し、バッチ処理可能なフォトリアリスティック自我視点レンダリングと衝突対応セマンティックメッシュ抽出をサポート。 - メッシュから空間的に変化する摩擦事前分布を初期化し、軌道ベースの事後探索で接触キャリブレーションを実施。 - 接触キャリブレーション済み地形上で実世界軌道をリプレイし、残差ダイナミクス補償器を訓練。地形起因の接触誤差とアクチュエータ非理想性の絡みを低減。

4. どうやって有効だと検証した?

- 再構成品質とロコモーション追従性能において関連ベースラインを上回ることを実験で示した。 - この基盤を活用し、タスク固有の実世界ロールアウトなしで堅牢なゼロショット視覚ナビゲーションポリシー展開を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 3D Gaussian Splatting (3DGS) を用いたロボットシミュレーション関連研究、sim-to-realギャップの視覚・動的統合に関する研究、接触キャリブレーションや残差ダイナミクス補償に関する研究が参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxiang Chen, Yuanhao Wang, Ziheng Zhang, Meng Zhang, Yu Liu, Yufei Jia, Tiancai Wang, Erjin Zhou, Jin Xie

分類: cs.RO

原文アブストラクト

Simulation is central to robot learning, yet the sim-to-real gap remains a major bottleneck. Existing approaches often tackle visual or dynamic gaps separately, overlooking how these individual mismatches accumulate and propagate throughout the robot's state evolution. In this paper, we introduce QuadVerse, an integrated framework that uses reconstructed scenes as a calibration substrate for aligning visual perception, physical interaction, and actuator dynamics. From captured RGB videos, we reconstruct geometry-constrained 3D Gaussian Splatting (3DGS) scenes that support batched photorealistic ego-view rendering and collision-ready semantic mesh extraction. The meshes further enable contact calibration by initializing spatially varying friction priors and refining them through trajectory-based posterior search. To address remaining actuator discrepancies, QuadVerse trains a residual dynamics compensator by replaying real-world trajectories on the contact-calibrated terrain, reducing the entanglement between terrain-induced contact errors and actuator non-idealities. Experiments show that QuadVerse improves reconstruction quality and locomotion tracking over relevant baselines. Leveraging this foundation, we demonstrate robust zero-shot visual-navigation policy deployment without task-specific real-world rollouts.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI