日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2608.06827

R2S-EGO: スパースキャプチャ実世界からシミュレーションへのデュアルプロキシ精緻化

R2S-EGO: Dual-Proxy Refinement for Sparse-Capture Real-to-Sim

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの軌道に沿った視点を補完するため、シミュレータ由来のロボットプロキシとキャプチャ由来の幾何プロキシを組み合わせ、少ない実画像で実世界からシミュレーションへの変換精度を向上させる手法を提案した。

詳しい要約

1. どんなもの?

R2S-EGOは、Real-to-sim (R2S) のための新しい手法であり、ロボットのego軌道に沿った観測をレンダリングするシーン表現に依存する。従来のR2Sは密な多視点キャプチャを必要とし、環境ごとの実画像キャプチャ効率が低い。また、スパースな人間キャプチャでは、ロボットの行動範囲の視点が十分にサポートされない。R2S-EGOは、シミュレータ由来のロボットプロキシ(行動範囲の実行可能なクエリ領域を表す)と、キャプチャに固定された幾何プロキシ(シーン固有の構造条件を提供)を組み合わせる。固定予算の選択は、現在のサポート不足を対象とし、生成された観測は疑似観測として視覚アセットを洗練する。実キャプチャはアンカーとして残る。融合された幾何プロキシは衝突面も提供し、ラウンド間で更新される。ロボットのダイナミクスと制御スタックは固定されたまま、既存のシミュレーションシーンを洗練する。

2. 先行研究と比べてどこがすごい?

先行研究と比べて、R2S-EGOはスパースなキャプチャ(6視点)で高い性能を達成している。具体的には、3つのReplicaシーンにおける48の固定Unitree G1 egoビューで、6視点のR2S-EGOは19.062 dB PSNRを達成し、最強のR2Sベースラインの14.226 dBを上回る。また、ポリシートレーニングの5シードで、R2S-EGOは82.5% ± 6.8%の実G1着座成功率を達成し、GaussGymの10.0% ± 10.5%を大幅に上回る。これは、カメラ制御合成をR2Sに使用する際の行動許容クエリとキャプチャ固定構造条件付けの課題を解決している点が優れている。

3. 技術・手法の肝は?

手法の肝は、シミュレータ由来のロボットプロキシとキャプチャ固定の幾何プロキシを結合することである。ロボットプロキシは行動範囲の実行可能なクエリ領域を表し、幾何プロキシはシーン固有の構造条件を提供する。固定予算の選択は、現在のサポート不足を対象とし、幾何サポートが利用可能な場合にのみ行われる。生成された観測は疑似観測として視覚アセットを洗練し、実キャプチャはアンカーとして保持される。融合された幾何プロキシはシーンの衝突面も提供し、ラウンド間で更新される。これにより、ロボットのダイナミクスと制御スタックを固定したまま、シミュレーションシーンを反復的に洗練する。

4. どうやって有効だと検証した?

有効性の検証は、3つのReplicaシーンにおける48の固定Unitree G1 egoビューを用いて行われた。6視点のR2S-EGOは19.062 dB PSNRを達成し、最強のR2Sベースラインの14.226 dBを上回った。さらに、5つのペアのポリシートレーニングシードで、R2S-EGOは82.5% ± 6.8%の実G1着座成功率を達成し、GaussGymの10.0% ± 10.5%を大幅に上回った。

5. 議論はある?

議論としては、要旨からは、スパースキャプチャの設定で高い性能を示す一方で、より複雑なシーンや異なるロボットへの一般化については不明である。また、固定予算の選択アルゴリズムの詳細や、幾何プロキシの精度が性能に与える影響についての議論は要旨には含まれていない。さらに、実世界の多様な環境での評価が不足している可能性がある。

6. 次に読むべき論文は?

次に読むべき論文は、要旨で比較されているGaussGymや、R2Sのベースラインとして言及されている手法(具体的な名前は要旨にないが、Real-to-simの分野の定番であるNeRFや3D Gaussian Splattingを用いた手法)が挙げられる。また、カメラ制御合成に関する研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuai Fang, Xin Deng, Yuchen Kang, Zhenjiang Li, Jie Chen

分類: cs.RO, cs.CV, cs.GR

原文アブストラクト

Real-to-sim (R2S) depends on scene representations that render observations along robot ego trajectories, yet dense multi-view capture limits per-environment real-image capture-count efficiency, and sparse human capture can leave behavior-scoped robot views under-supported. Camera-controlled synthesis can fill missing views, but its use in R2S requires behavior-admissible queries and capture-anchored structural conditioning. We present R2S-EGO, which couples a simulator-derived robot proxy that represents the behavior-scoped executable query domain with a capture-anchored geometry proxy that supplies scene-specific structural conditions. Within this domain, fixed- budget selection targets current support deficits for which geometry support is available. The generated observations are assimilated as pseudo-observations to refine the visual asset, while real captures remain anchors. The fused geometry proxy also supplies the scene collision surface, which is refreshed between rounds. Together, these updates refine the existing simulation scene while its robot dynamics and control stack stay fixed. Across 48 frozen Unitree G1 ego views in three Replica scenes, six-view R2S-EGO reaches 19.062 dB PSNR, compared with 14.226 dB for the strongest reported R2S baseline. Across five paired policy-training seeds, R2S-EGO achieves 82.5% +/- 6.8% real-G1 sitting success, compared with 10.0% +/- 10.5% for GaussGym.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI