日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2610.17521

YUBI-Real2Sim: 3DGSシーン検証による信頼性の高い方策評価

YUBI-Real2Sim: 3DGS Scene Verification for Reliable Policy Evaluation

シェア:XThreadsFacebookLINEはてブBluesky

両手首の魚眼カメラ視点で3Dガウシアンスプラッティングによる実→シミュ再構成を行い、VLA方策の評価信頼性をアーティファクトや撮影擾乱に対して体系的に検証するフレームワークを提案。

詳しい要約

1. どんなもの?

- 3DGSベースのreal-to-sim評価フレームワーク - 両手首のfisheye視点でのscene再構成とpolicy評価を統合 - 200度fisheye撮影、3DGS学習、3D foundation models、MuJoCo物理simを連結 - 対象はVLA policy、特にYUBI handheld gripperデータ系 - ベンチマーク構築 - 2つのbimanual robot platforms、3 scenes、3 tasks、pi0.5系2 policies - real-to-simのrank一致度と、3DGS artifact(ceiling holes, floaters, warping)や撮影外乱への感度を測定

2. 先行研究と比べてどこがすごい?

- 3DGSによるreal-to-sim scene生成の高速化は既知だが、policy評価に足る再構成品質は未定量だった - 本研究はその品質要件を体系的に測る点が新しい - 特にwrist-mounted fisheyeの広角視で生じるvisual artifacts(holes, floaters)がpolicy性能を直接劣化させる問題に着目 - 9つのscene-task比較中8つで実世界のpolicy順序を再現 - 品質スコアによるpolicy-ranking信頼性予測の限界も示す

3. 技術・手法の肝は?

- 統合パイプライン - 200度fisheye camera capture - 3DGS training - 3D foundation modelsによるobject modeling - MuJoCo-based physical simulation - dual fisheye wrist views下での再構成と評価 - ベンチマーク設計 - 2 bimanual platforms、3 scenes、3 tasks、dual pi0.5-based policies - counterfactual 3DGS artifacts(ceiling holes, floaters, warping)とcapture disturbancesを付与 - scene-held-out評価プロトコルでnovel-view品質スコアとpolicy-ranking信頼性の関係を分析

4. どうやって有効だと検証した?

- 9つのscene-task比較のうち8つで実世界のpolicy orderingを再現 - ベンチマークでreal-to-sim rank agreementを系統的に測定 - counterfactual 3DGS artifactsとcapture disturbancesに対するpolicy感度を評価 - scene-held-out評価プロトコルでnovel-view品質スコアがpolicy-ranking信頼性を示せるか分析 - 結果はtask-dependentな性能と品質ベース信頼性予測の限界を示す

5. 議論はある?

- task-dependentな性能が見られ、品質ベースの信頼性予測には限界 - Real2Simでpolicy評価する際は再構成品質の評価が必要と強調 - 現時点では一般的に信頼できるscene-acceptance ruleは確立できていない - 9分の8の順序再現はあるが、残り1つやartifact影響の一般化は要検討 - 詳細な議論や限界の網羅は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - 3D Gaussian Splatting (3DGS) - YUBI handheld gripper data - pi0.5-based policies - MuJoCo-based physical simulation - 3D foundation models - 関連手法としてreal-to-sim、VLA policy評価、fisheye視点再構成、novel-view品質評価 - 具体的な個別論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hiroki Nishizawa, Takehiko Ohkawa, Nicola Scianca, Tatsuya Matsushima, Shigeo Morishima, Kei Ota

分類: cs.RO, cs.AI

原文アブストラクト

Evaluating VLA policies on real robots is costly, time-consuming, and difficult to reproduce, making real-to-sim simulation essential for scalable evaluation. While 3D Gaussian Splatting (3DGS) enables rapid real-to-sim scene generation, the reconstruction quality required for reliable policy evaluation remains unquantified. In particular, policies relying on wrist-mounted fisheye cameras (e.g., YUBI handheld gripper data) are heavily exposed to visual artifacts (holes, floaters) in wide-angle views, directly degrading task performance. To address this, we present YUBI-Real2Sim, a unified framework for 3DGS-based scene reconstruction and real-to-sim policy evaluation under dual fisheye wrist views. We develop an integrated pipeline combining 200-degree fisheye camera capture, 3DGS training, 3D foundation models for object modeling, and MuJoCo-based physical simulation, reproducing the observed real-world policy ordering in eight of nine scene-task comparisons. Using this framework, we construct a benchmark across two bimanual robot platforms, three scenes, three tasks, and dual pi0.5-based policies. This systematically measures real-to-sim rank agreement and evaluates policy sensitivity against counterfactual 3DGS artifacts (ceiling holes, floaters, warping) and capture disturbances. We further analyze whether novel-view quality scores can indicate policy-ranking reliability under a scene-held-out evaluation protocol. The results show task-dependent performance and limitations of quality-based reliability prediction, highlighting the need to assess reconstruction quality when using Real2Sim for policy evaluation. These results do not yet establish a generally reliable scene-acceptance rule. Project Page: https://yubi-real2sim.airoa.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI