日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2512.04731

シミュレーションと現実を繋ぐ:セマンティック2Dガウシアンスプラッティングによるドメイン間転移

Bridging Simulation and Reality: Cross-Domain Transfer with Semantic 2D Gaussian Splatting

シェア:XThreadsFacebookLINEはてブBluesky

物体中心のドメイン不変な空間特徴を抽出するセマンティック2Dガウシアンスプラッティングを提案し、シミュレーションから実世界への操作タスクの転移性能を向上させた。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションにおけるsim-to-realのドメインギャップを橋渡しする手法 - Semantic 2D Gaussian Splatting (S2GS) という新規表現を提案 - 物体中心かつドメイン不変な空間特徴を抽出する - 多視点2Dセマンティックフィールドを構築し、feature-level Gaussian splattingで統合3D空間に投影 - semantic filtering mechanismで背景を除去し、policy学習へのクリーンな入力を実現

2. 先行研究と比べてどこがすごい?

- 既存のdomain randomization、adaptation、sim-real calibrationは多大なチューニングを要するか未見シナリオへの汎化に失敗 - 本研究はドメイン不変特徴をsimulationのpolicy学習時とreal-world展開時の双方で同一に抽出・入力する点が特徴 - これによりドメインギャップを効果的に橋渡しし、policyの汎化を大幅改善 - 具体的な定量比較は要旨からは不明

3. 技術・手法の肝は?

- 多視点2Dセマンティックフィールドを構築 - feature-level Gaussian splattingにより統合3D空間へ投影 - semantic filtering mechanismで無関係な背景を除去 - 物体中心・ドメイン不変の空間特徴を抽出し、policy入力として利用 - 下流学習アルゴリズムにはDiffusion Policyを採用

4. どうやって有効だと検証した?

- ManiSkill simulation環境で実験 - その後real-world展開を実施 - S2GSがsim-to-real転移性を大幅改善し、実環境で高い安定したタスク性能を維持することを示した - 具体的な指標・ベースライン比較は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、計算コスト、semantic filteringの感度などについての記述はない

6. 次に読むべき論文は?

- Diffusion Policy(下流学習アルゴリズムとして採用) - domain randomization - domain adaptation - sim-real calibration - Gaussian Splatting(3D Gaussian Splatting系の表現手法)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jian Tang, Pu Pang, Haowen Sun, Chengzhong Ma, Xingyu Chen, Hua Huang, Xuguang Lan

分類: cs.RO

原文アブストラクト

Cross-domain transfer in robotic manipulation remains a longstanding challenge due to the significant domain gap between simulated and real-world environments. Existing methods such as domain randomization, adaptation, and sim-real calibration often require extensive tuning or fail to generalize to unseen scenarios. To address this issue, we observe that if domain-invariant features are utilized during policy training in simulation, and the same features can be extracted and provided as the input to policy during real-world deployment, the domain gap can be effectively bridged, leading to significantly improved policy generalization. Accordingly, we propose Semantic 2D Gaussian Splatting (S2GS), a novel representation method that extracts object-centric, domain-invariant spatial features. S2GS constructs multi-view 2D semantic fields and projects them into a unified 3D space via feature-level Gaussian splatting. A semantic filtering mechanism removes irrelevant background content, ensuring clean and consistent inputs for policy learning. To evaluate the effectiveness of S2GS, we adopt Diffusion Policy as the downstream learning algorithm and conduct experiments in the ManiSkill simulation environment, followed by real-world deployment. Results demonstrate that S2GS significantly improves sim-to-real transferability, maintaining high and stable task performance in real-world scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI