日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2610.17651

Code2Worlds-2: 物理的に妥当な身体性世界シミュレーションのためのエージェントハーネス

Code2Worlds-2: Physically Plausible Agent Harness for Embodied World Simulation

シェア:XThreadsFacebookLINEはてブBluesky

生成された4D視覚世界に衝突形状・質量・摩擦などの物理属性を与え、MuJoCoで実行可能なシミュレーションシーンへ変換するフレームワークを提案。

詳しい要約

1. どんなもの?

自然言語から4D世界を生成するCode2Worldsを拡張し、物理エンジンで実行可能なembodied world simulationを実現する手法。 - 生成された視覚的4D世界に物理的意味論(collision geometry, mass, friction, inertia, joint structure)を付与 - 視覚的見た目だけでなく、物理エンジンがロード・ステップできるexecutable worldを生成 - ロボットが相互作用可能なシーンを目指す

2. 先行研究と比べてどこがすごい?

従来のcoding LLMによる4D世界生成は視覚的アーティファクトに留まり、物理的意味論を欠き、動力学は見た目重視のスクリプトであった。 - Code2Worlds-2は物理エンジンで実行可能な世界を生成 - 視覚的モーションクリティックをシミュレータクリティックに置換 - 物理設定そのものを進化させる点が新しい

3. 技術・手法の肝は?

元のdual-stream generation pipelineを維持し、2つのモジュールを追加。 - SimReady Scene Compiler: 生成視覚シーンをシミュレータ互換表現に変換。convex decompositionによるcollision mesh割当、VLMによる物理属性推定、軽量support graph推論、接触・摩擦・動力学制約のインスタンス化、gravity settling passを経てMuJoCo MJCFとしてエクスポート - Simulator-in-the-Loop 4D Refiner: compile, simulate, critique, refineの自動エージェントハーネス。penetration depth, collision pairs, stability, contact forces, joint limits, robot reachabilityを検査するシミュレータクリティックを実装

4. どうやって有効だと検証した?

SimCode4Dベンチマークを提案し、5つのタスクテンプレートで評価。 - SimCode4Dおよびnatural, indoor, industrial, urban, serviceシーンで実験 - Code2Worlds-2が物理的に妥当で、シミュレータ互換、ロボット相互作用可能なシーンを生成することを示した

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、汎化性に関する議論は記述されていない

6. 次に読むべき論文は?

Code2Worlds(拡張元)、MuJoCo MJCF、vision-language model、convex decomposition、SimCode4Dベンチマーク。 - 関連手法としてphysics engineベースのシーン生成やsimulator-in-the-loop最適化の研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyu Zhang, Siming Li, Zeyu Zhang, Yi Zhang, Tat-Seng Chua, Hao Tang

分類: cs.RO, cs.CV

原文アブストラクト

Recent coding large language models (LLMs) can synthesize dynamic 4D worlds from natural language, but the resulting content remains a visual artifact. It lacks physical semantics such as the collision geometry, mass, friction, inertia, and joint structure, required to enable it to simulate the physical world, and its dynamics are scripted to look plausible rather than designed to execute. What is needed is an executable world: one that a physics engine can load and step, resolving contact physically. We present Code2Worlds-2, an extension of Code2Worlds that turns 4D world generation into an embodied world simulation. We keep the original dual-stream generation pipeline intact and append two modules. First, a SimReady Scene Compiler that turns a generated visual scene into a simulator-compatible representation: it assigns collision meshes via convex decomposition, estimates physical attributes with a vision-language model, infers a lightweight support graph, instantiates the engine's contact, friction, and dynamics constraints, and applies a gravity settling pass, before exporting the scene as MuJoCo MJCF. Second, a Simulator-in-the-Loop 4D Refiner that implements an automated agent harness-a compile, simulate, critique and refine loop-that converts visual dynamics into executable rigid and articulated dynamics and evolves the physical settings rather than only the code, replacing the purely visual motion critic with a simulator critic that inspects penetration depth, collision pairs, stability, contact forces, joint limits, and robot reachability. We further propose SimCode4D, a state-based benchmark with five task templates for evaluating embodied simulation. Experiments on SimCode4D and across natural, indoor, industrial, urban, and service scenes show that Code2Worlds-2 produces physically plausible, simulator-compatible, and robot-interactable scenes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI