日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

4D合成arXiv:2606.08688

PhysAgent: 軌跡に基づくマルチエージェントフィードバックによる物理ベース4D合成の自動化

PhysAgent: Automating Physics-Based 4D Synthesis via Trajectory-Grounded Multi-Agent Feedback

シェア:XThreadsFacebookLINEはてブBluesky

物理シミュレーションをループに組み込んだマルチエージェントフレームワークを提案し、力場の自動設定と物理的に妥当な4Dモーション合成を実現する。

詳しい要約

1. どんなもの?

- 物理ベースの4D合成を自動化するフレームワーク - シミュレータ・イン・ザ・ループのマルチエージェント構成 - マルチモーダル入力から物理的に妥当な4Dシーンを生成 - 環境力場の設定を自動化し、大規模シミュレーションデータ生成のボトルネックを解消

2. 先行研究と比べてどこがすごい?

- 従来の自動化手法は材料最適化に焦点 - 力場最適化空間ではモダリティギャップと技術的欠陥が深刻 - 素朴なLLMはシミュレーションフィードバックを欠き物理的不正確さが大きい - 従来のSDSは勾配が遅く、局所最適に陥り、離散力場の動的切替が数学的に不可能 - PhysAgentはこれらを克服し、生成多様性と物理精度で既存ベースラインを大幅に上回る

3. 技術・手法の肝は?

- 内在的材料と外在的動力学を分離 - Semantic Agentが外部化されたForce Field Skillモジュールを備え、シミュレーションルールを習得し有効な初期化を生成 - Refine AgentsがTrajectory-Grounded Multi-Agent Feedbackに基づき動作 - 視覚基盤モデルでレンダリングフレームから密な点軌跡を抽出 - 明示的な運動軌跡を構造化テキスト記述子に変換し、LLMの常識推論でゼロショットの巨視的跳躍を実行 - 局所最適を脱出し、離散力場を動的に切り替え

4. どうやって有効だと検証した?

- 広範な実験を実施 - 任意のマルチモーダルプロンプトから安定で多様な物理シーンを迅速に生成 - 生成多様性と物理精度の両面で既存ベースラインを大幅に上回ることを実証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Score Distillation Sampling (SDS)、Large Language Models (LLMs) を用いた自動化手法 - 関連手法:マルチエージェントフレームワーク、視覚基盤モデル、シミュレータ・イン・ザ・ループ最適化

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chunji Lv, Jiaxi Ye, Yuchen Jiang, Rexar Lin, Changsheng Li

分類: cs.RO, cs.CV

原文アブストラクト

Achieving fully automated, physically plausible 3D motion synthesis is a core objective in graphics and generative AI. However, configuring complex environmental force fields still relies entirely on manual expert intervention, creating a severe bottleneck for large-scale simulation data generation. Existing automated methods primarily focus on material optimization and exhibit severe modality gaps and technical flaws when applied to the vastly more complex force field optimization space: naive Large Language Models (LLMs) lack underlying simulation feedback, causing severe physical inaccuracies, while traditional Score Distillation Sampling (SDS) suffers from sluggish gradients, local optima entrapment, and a mathematical inability to dynamically switch discrete force fields. To address this, we propose PhysAgent, the first simulator-in-the-loop multi-agent framework that leverages multimodal inputs for automated, physically grounded 4D synthesis. By decoupling intrinsic materials from extrinsic dynamics, PhysAgent utilizes a Semantic Agent equipped with an externalized Force Field Skill module to master simulation rules and generate valid initializations. Subsequently, the Refine Agents, driven by Trajectory-Grounded Multi-Agent Feedback, leverage vision foundation models to extract dense point trajectories from rendered frames. By converting these explicit motion trajectories into structured textual descriptors, the agent harnesses LLM commonsense reasoning to execute zero-shot macroscopic leaps, effectively escaping local optima and dynamically switching discrete force fields. Extensive experiments demonstrate that PhysAgent rapidly generates stable, diverse physical scenes from arbitrary multimodal prompts, significantly outperforming existing baselines in both generation diversity and physical accuracy.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI