日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2511.13648

PhysX-Anything: 単一画像からシミュレーション可能な物理的3Dアセットを生成

PhysX-Anything: Simulation-Ready Physical 3D Assets from Single Image

シェア:XThreadsFacebookLINEはてブBluesky

単一の画像から、関節構造や物理属性を備えたシミュレーション可能な3Dアセットを生成するVLMベースのフレームワークを提案し、新データセットPhysX-Mobilityも構築した。

詳しい要約

1. どんなもの?

- 単一の in-the-wild 画像から、simulation-ready な物理的3Dアセットを生成するフレームワーク「PhysX-Anything」 - 出力は explicit な geometry・articulation・physical attributes を含む - embodied AI や physics-based simulation での直接利用を狙う - 著者らは「最初の simulation-ready physical 3D generative framework」と位置づける - 併せて VLM-based の物理3D生成モデルと、新たな3D表現を提案 - 新データセット PhysX-Mobility も構築

2. 先行研究と比べてどこがすごい?

- 既存の3D生成手法は physical・articulation 特性を軽視しており embodied AI での利用が限定的だった - 本研究は geometry に加え articulation と physical attributes を明示的に生成 - 新3D表現により token 数を193x削減し、標準的な VLM token budget 内で explicit geometry 学習を可能に - fine-tuning 時に special token を導入せずに済み、生成品質も向上 - 既存の physical 3D データセットに対し、PhysX-Mobility は object categories を2x以上に拡張 - 2K以上の実世界物体と豊富な physical annotations を含む

3. 技術・手法の肝は?

- 第一の VLM-based physical 3D generative model を提案 - geometry を効率的に tokenize する新3D表現を導入 - token 数を193x削減し、標準 VLM token budget 内での explicit geometry 学習を実現 - fine-tuning で special token を追加せずに学習 - 単一画像から geometry・articulation・physical attributes を明示的に生成 - データ多様性の不足に対処するため PhysX-Mobility を構築 - 既存 physical 3D データセットよりカテゴリを2x以上に拡張、2K以上の物体を含む

4. どうやって有効だと検証した?

- PhysX-Mobility と in-the-wild 画像での実験により、強い生成性能と頑健な generalization を示す - MuJoCo-style 環境での simulation-based 実験を実施 - sim-ready アセットが contact-rich な robotic policy learning に直接利用可能であることを検証 - 詳細な定量指標・比較手法は要旨からは不明

5. 議論はある?

- 著者らは embodied AI や physics-based simulation など幅広い下流応用への貢献を主張 - 限られた physical 3D データセットの多様性が課題であり、PhysX-Mobility で対処 - 具体的な限界・失敗ケース・計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている個別研究は明示されていない - 関連手法として VLM-based 3D generation、articulated object generation、physical 3D datasets の代表的先行研究 - 検証環境に関連する MuJoCo および contact-rich robotic policy learning の研究 - データセットとして PhysX-Mobility の原論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziang Cao, Fangzhou Hong, Zhaoxi Chen, Liang Pan, Ziwei Liu

分類: cs.CV, cs.RO

原文アブストラクト

3D modeling is shifting from static visual representations toward physical, articulated assets that can be directly used in simulation and interaction. However, most existing 3D generation methods overlook key physical and articulation properties, thereby limiting their utility in embodied AI. To bridge this gap, we introduce PhysX-Anything, the first simulation-ready physical 3D generative framework that, given a single in-the-wild image, produces high-quality sim-ready 3D assets with explicit geometry, articulation, and physical attributes. Specifically, we propose the first VLM-based physical 3D generative model, along with a new 3D representation that efficiently tokenizes geometry. It reduces the number of tokens by 193x, enabling explicit geometry learning within standard VLM token budgets without introducing any special tokens during fine-tuning and significantly improving generative quality. In addition, to overcome the limited diversity of existing physical 3D datasets, we construct a new dataset, PhysX-Mobility, which expands the object categories in prior physical 3D datasets by over 2x and includes more than 2K common real-world objects with rich physical annotations. Extensive experiments on PhysX-Mobility and in-the-wild images demonstrate that PhysX-Anything delivers strong generative performance and robust generalization. Furthermore, simulation-based experiments in a MuJoCo-style environment validate that our sim-ready assets can be directly used for contact-rich robotic policy learning. We believe PhysX-Anything can substantially empower a broad range of downstream applications, especially in embodied AI and physics-based simulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI