日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.05765

Image2Sim: 生成的ニューラルシミュレータによる身体化ナビゲーションのスケーリング

Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator

シェア:XThreadsFacebookLINEはてブBluesky

実画像列から高品質なインタラクティブ環境を生成するニューラルシミュレータを提案し、大規模なナビゲーション訓練データを合成して実世界性能を向上させた。

詳しい要約

1. どんなもの?

Image2Simは、実世界のRGB-D画像シーケンスから高品質なインタラクティブ環境を構築するリアルタイムのニューラルシミュレーションフレームワークである。3D空間のアンカリングとフォトリアリスティックな観測合成を分離し、フィードフォワードのfeature Gaussianモデルでシーンを構築し、Geometry-Aware One-Step Pixel FlowモデルでパノラマRGB-D観測を生成する。また、自動化されたembodiedデータエンジンとして、約20Kのインタラクティブシーンと1,000万以上のナビゲーション訓練サンプルを生成できる。

2. 先行研究と比べてどこがすごい?

実世界のスキャンデータセットは視覚的リアリズムが高いが規模が限られ、合成シミュレータはスケールしやすいがsim-to-realギャップが大きい。Image2Simは、実世界の画像から直接スケーラブルで高忠実度かつ物理的に接地された環境を構築することで、これらの制約を克服し、大規模な訓練データ生成を可能にしている点が優れている。

3. 技術・手法の肝は?

手法の肝は、3D空間アンカリングとフォトリアリスティックな観測合成の分離にある。シーン構築には、feed-forward feature Gaussianモデルを用いて、ポーズ付きRGB-D観測を単一パスで3D feature-Gaussian表現に変換する。レンダリングには、Geometry-Aware One-Step Pixel Flowモデルを提案し、疎でノイズの多いGaussian投影を高品質なパノラマRGB-D観測に変換する。これにより、リアルタイムで高品質な環境を生成できる。

4. どうやって有効だと検証した?

Image2Simをデータエンジンとして用い、大規模なビデオと画像のコレクションから約20Kのインタラクティブシーンと1,000万以上のナビゲーション訓練サンプルを合成した。これらのニューラル環境のみで訓練されたナビゲーションモデルが、主要なベンチマークで強い改善を示し、実世界のゼロショット設定にも効果的に転移することを検証した。

5. 議論はある?

要旨からは、議論の詳細は不明である。ただし、スケーラブルなニューラルシミュレーションがembodiedナビゲーションの実用的な訓練基盤となり得ることを示唆している。潜在的な限界として、生成された環境の物理的接地や、実世界とのさらなるギャップが考えられるが、要旨では明示されていない。

6. 次に読むべき論文は?

要旨で参照されている先行研究や関連手法は明示されていないが、同分野の定番として、シミュレータ(例:Habitat, AI2-THOR)や実世界データセット(例:ScanNet)に関する論文が挙げられる。また、3D Gaussian Splattingやニューラルレンダリングに関する研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihan Wang, Seungjun Lee, Yinghao Xu, Gim Hee Lee

分類: cs.CV, cs.RO

原文アブストラクト

Embodied navigation aims to build agents that interpret multimodal goals, reason in 3D space, and reach target destinations reliably in the real world. However, progress remains constrained by the lack of scalable, high-fidelity, and physically grounded interactive environments. Although real-world scanned datasets offer visual realism, they are limited by scale. In contrast, synthetic simulators scale more easily but often exhibit large sim-to-real gaps. We introduce Image2Sim, a real-time neural simulation framework that constructs high-quality interactive environments from posed RGB-D image sequences. The central idea is to decouple 3D spatial anchoring from photorealistic observation synthesis. For scene construction, Image2Sim uses a feed-forward feature Gaussian model that lifts posed RGB-D observations into a 3D feature-Gaussian representation in a single pass. For rendering, we propose a Geometry-Aware One-Step Pixel Flow model that transforms sparse and noisy Gaussian projections into high-quality panoramic RGB-D observations. Image2Sim also serves as a fully automated embodied data engine that generates high-fidelity observations, executable actions, and diverse navigation instructions at scale. It converts large collections of videos and images into nearly 20K interactive scenes and synthesizes more than 10 million navigation training samples. Navigation models trained entirely in these neural environments achieve strong improvements on major benchmarks and transfer effectively to real-world zero-shot settings. These results suggest that scalable neural simulation can serve as a practical training substrate for embodied navigation at scale.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI