EgoSim: 身体化インタラクション生成のための自己中心的世界シミュレータ

EgoSimは、自己中心視点の閉ループ世界シミュレータである。 - 空間的に一貫したインタラクション動画を生成し、基盤となる3Dシーン状態を永続的に更新して連続シミュレーションを可能にする。 - 既存の自己中心シミュレータの課題（明示的な3Dグラウンディングの欠如による視点変化時の構造ドリフト、シーンを静的とみなし多段階インタラクションで世界状態を更新できない点）を解決する。 - 3Dシーンを更新可能な世界状態としてモデル化する。

既存の自己中心シミュレータと比較して、以下の点が優れている。 - 明示的な3Dグラウンディングを欠く手法は視点変化で構造ドリフトを起こすが、EgoSimは3Dシーンを更新可能な世界状態として扱うことでこれを防ぐ。 - シーンを静的とみなす手法は多段階インタラクションで世界状態を更新できないが、EgoSimはInteraction-aware State Updating moduleにより空間的一貫性を保ちながら状態を更新する。 - 実験で視覚品質、空間的一貫性、複雑シーンやin-the-wildの器用なインタラクションへの汎化において既存手法を大幅に上回る。

技術の肝は以下の通り。 - Geometry-action-aware Observation Simulation modelにより embodiment interactions を生成する。 - Interaction-aware State Updating moduleにより空間的一貫性を実現する。 - 密に整列したシーン・インタラクション訓練ペアの取得困難というデータボトルネックを克服するため、in-the-wildの大規模単眼自己中心動画から静的ポイントクラウド、カメラ軌跡、embodiment actionsを抽出するスケーラブルなパイプラインを設計。 - 低コストな実世界データ収集を可能にするEgoCapキャプチャシステム（未校正スマートフォン対応）を導入。

広範な実験により、EgoSimが視覚品質、空間的一貫性、複雑シーンやin-the-wildの器用なインタラクションへの汎化において既存手法を大幅に上回ることを示した。 - ロボティックマニピュレーションへのcross-embodiment transferもサポートすることを実証。 - 具体的な評価指標やデータセットの詳細は要旨からは不明。

要旨からは不明。 - 限界や議論の詳細には触れられていない。 - コードとデータセットは近日公開予定とされている。

要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、自己中心視点シミュレーション、embodied AI、world model、3D scene understanding、robotic manipulation transferに関する論文が挙げられる。 - 具体的な論文名は要旨からは不明。