日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D合成/物理推論arXiv:2610.20560

PhySGA: 物理空間に基づく汎用インタラクティブ3D合成エージェントフレームワーク

PhySGA: A Physics-Space Grounded Agentic Framework for Generalizable and Interactive 3D Composition

シェア:XThreadsFacebookLINEはてブBluesky

物理シミュレーションとエージェント探索を組み合わせ、剛体・関節・変形物体の3D合成を対話的に行うフレームワークを提案。

詳しい要約

1. どんなもの?

- 3Dオブジェクト合成のための物理空間に基づくエージェントフレームワークPhySGAを提案。 - 剛体、関節物体、変形可能物体のインタラクティブな組立を可能にする。 - デジタルコンテンツ作成やロボットシミュレーション、物理知能のテストベッドとして重要。

2. 先行研究と比べてどこがすごい?

- 従来手法はLLMによる座標直接予測や拡散事前分布による画像合成で、静的デジタル事前分布に依存。 - 複雑な合成(吊り下げ、重力沈降、隠れた包含)に弱い。 - PhySGAはエージェント探索と物理シミュレーションでインタラクティブ構築を実現。

3. 技術・手法の肝は?

- フィードフォワード・フィードバック協調アーキテクチャ。 - Assembly Agentが幾何・運動学的推論で全体計画と粗調整。 - Critic Agentが接触力学を推論しシミュレータ状態診断と微調整。 - Action Routersが意味計画を物理プリミティブにマッピング。 - Self-Evolving Skill Libraryが試行錯誤を再利用可能経験に蒸留。

4. どうやって有効だと検証した?

- Isaac Sim内での広範な実験。 - 関係忠実度、物理的妥当性、視覚品質で既存手法を大幅に上回る。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、LLMベースの3D合成手法や拡散モデルを用いた3D生成手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weichen Lyu, Chong Xia, Mingyu Dong, Long Xu, Shengjun Zhang, Yueqi Duan

分類: cs.AI, cs.CV

原文アブストラクト

3D object composition is pivotal to digital content creation and robot simulation, while also serving as a critical testbed for physical intelligence in foundation models. Previous methods either leverage large language models to directly predict object coordinates, or utilize generative diffusion priors to synthesize composite images for visual alignment, both of which rely on static priors in digital spaces. However, these methods consistently struggle with complex compositions such as precise hanging, gravity-driven settling and hidden containment, as these tasks require interactive construction processes involving global planning, fine-grained alignment, and physical simulation. To address these challenges, we propose PhySGA, a Physics-Space Grounded Agentic Framework for 3D composition via agent exploration and physical simulation, enabling the universal interactive assembly of rigid, articulated, and deformable objects. Directly applying vanilla LLMs or VLMs to this task proves insufficient, as current models inherently lack grounded physical understanding and interactive construction experience. To overcome this limitation, we design a collaborative feedforward-feedback architecture: an Assembly Agent focuses on geometric and kinematic reasoning for global step planning and coarse adjustment, while a Critic Agent reasons over contact dynamics for simulator state diagnosis and fine-grained closed-loop correction. Furthermore, Action Routers map semantic planning and analysis onto executable physical primitives within the simulator, while a task-specific Self-Evolving Skill Library distills historical trial-and-error feedback into reusable experiences, boosting success rates and minimizing exploration attempts. Extensive experiments within Isaac Sim demonstrate that PhySGA significantly surpasses existing methods in relation fidelity, physical plausibility, and visual quality.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI