日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2509.17430

EmbodiedSplat: モバイル端末からのガウススプラッティングによる個人化されたReal-to-Sim-to-Realナビゲーション

EmbodiedSplat: Personalized Real-to-Sim-to-Real Navigation with Gaussian Splats from a Mobile Device

シェア:XThreadsFacebookLINEはてブBluesky

iPhoneで撮影した実環境を3Dガウススプラッティングで再構築し、Habitat-Sim上で方策を微調整することで、実世界の画像ナビゲーション性能を大幅に向上させる手法を提案。

詳しい要約

1. どんなもの?

- モバイル端末で撮影した実環境を用いて、Embodied AI の policy を個人化(personalize)する手法 - iPhone で撮影した deployment 環境を 3D Gaussian Splatting (GS) で再構成 - 再構成した mesh 上で Habitat-Sim を用いて policy を fine-tune - 実世界の Image Navigation タスクへの sim-to-real 転移を狙う - 実環境キャプチャから学習環境構築・fine-tuning までを効率的に行う枠組み

2. 先行研究と比べてどこがすごい?

- 従来は完全合成環境(photorealism に欠ける)か、高価な機材で取得した高忠実度再構成に依存 - そのため sim-to-real 転移が大きな課題 - EmbodiedSplat は安価な iPhone 撮影のみで実環境を再構成し、その上で fine-tune を可能にする - 大規模実世界データセット(HM3D)で事前学習した zero-shot baseline に対し実世界 Image Navigation で成功率 +20% - 合成データセット(HSSD)事前学習 baseline に対し +40% の改善

3. 技術・手法の肝は?

- 3D Gaussian Splatting (GS) により iPhone 撮影シーンから mesh を再構成 - 再構成 mesh を Habitat-Sim 上で学習環境として利用 - 再構成シーン内で policy を fine-tune し deployment 環境に適応 - 訓練戦略、事前学習データセット、mesh 再構成手法を体系的に分析し、sim-to-real 予測性への影響を評価

4. どうやって有効だと検証した?

- 実世界 Image Navigation タスクで評価 - zero-shot baseline(HM3D 事前学習)および HSSD 事前学習 baseline と比較 - 成功率の絶対改善 +20%(HM3D 比)、+40%(HSSD 比)を報告 - 再構成 mesh について sim-vs-real 相関 0.87–0.97 を確認

5. 議論はある?

- 訓練戦略・事前学習データセット・mesh 再構成手法が sim-to-real 予測性に与える影響を分析 - 少ない労力で多様な環境に policy を適応できる可能性を示唆 - 具体的な限界や失敗事例、計算コスト等の議論は要旨からは不明

6. 次に読むべき論文は?

- HM3D(大規模実世界データセット) - HSSD(合成データセット) - Habitat-Sim - 3D Gaussian Splatting (GS) - Image Navigation タスクの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gunjan Chhablani, Xiaomeng Ye, Muhammad Zubair Irshad, Zsolt Kira

分類: cs.CV, cs.RO

原文アブストラクト

The field of Embodied AI predominantly relies on simulation for training and evaluation, often using either fully synthetic environments that lack photorealism or high-fidelity real-world reconstructions captured with expensive hardware. As a result, sim-to-real transfer remains a major challenge. In this paper, we introduce EmbodiedSplat, a novel approach that personalizes policy training by efficiently capturing the deployment environment and fine-tuning policies within the reconstructed scenes. Our method leverages 3D Gaussian Splatting (GS) and the Habitat-Sim simulator to bridge the gap between realistic scene capture and effective training environments. Using iPhone-captured deployment scenes, we reconstruct meshes via GS, enabling training in settings that closely approximate real-world conditions. We conduct a comprehensive analysis of training strategies, pre-training datasets, and mesh reconstruction techniques, evaluating their impact on sim-to-real predictivity in real-world scenarios. Experimental results demonstrate that agents fine-tuned with EmbodiedSplat outperform both zero-shot baselines pre-trained on large-scale real-world datasets (HM3D) and synthetically generated datasets (HSSD), achieving absolute success rate improvements of 20% and 40% on real-world Image Navigation task. Moreover, our approach yields a high sim-vs-real correlation (0.87-0.97) for the reconstructed meshes, underscoring its effectiveness in adapting policies to diverse environments with minimal effort. Project page: https://gchhablani.github.io/embodied-splat.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI