日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

物理推論/コード生成arXiv:2610.15722

PhySimCode: 物理動画からコード生成へのベンチマークと評価手法

PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation

シェア:XThreadsFacebookLINEはてブBluesky

動画から物理法則を推論し、実行可能なシミュレーションコードを生成する能力を評価するベンチマークPhySimCodeを提案し、162の物理現象を含む16万件超のデータで最先端MLLMを評価した。

詳しい要約

1. どんなもの?

- 物理動画から実行可能なシミュレーションコードを生成する能力を測るベンチマーク PhySimCode を提案。 - 入力は生動画のみで、モデルは物理法則の推論、パラメータ値の復元、動画を再現する runnable Python の生成を行う。 - データセットは 160.6K の procedurally generated サンプルで、162 の物理現象を網羅。 - analytic SciPy simulations と PyBullet-rendered の rigid-body, articulated, fluid, contact-rich シーンを含む。 - 各サンプルは simulation code, physical parameters, rendered video, 構造化 chain-of-thought を同梱。

2. 先行研究と比べてどこがすごい?

- 既存の video-physics benchmarks は plausibility, property estimation, future-state prediction を評価するが、視覚的ダイナミクスを runnable simulation code に変換できるかは十分に検証していない。 - 本研究は video-to-code generation という設定で、物理法則の推論からコード生成までを一貫して評価する点が新しい。 - 160.6K サンプル・162 現象・複数シミュレータを横断する大規模ベンチマークを提供。 - 物理法則の正しさ、simulation equivalence, code executability, parameter recovery の4軸で評価する枠組みを提示。

3. 技術・手法の肝は?

- 手続き的に生成した 160.6K サンプルで、analytic SciPy simulations と PyBullet-rendered シーンを組み合わせる。 - 各サンプルに simulation code, physical parameters, rendered video, 構造化 chain-of-thought を付与。 - chain-of-thought は observations, laws, ODEs, numerical methods, validation checks をカバー。 - 評価は physical-law correctness, simulation equivalence, code executability, parameter recovery の4基準。 - 10 の state-of-the-art closed- and open-source MLLMs を対象に評価。

4. どうやって有効だと検証した?

- 10 の state-of-the-art closed- and open-source MLLMs を4基準で評価。 - モデルは物理法則の記述では 4.27-4.93/5 と高得点だが、動画からの推論では 1.51-2.47/5 にとどまる。 - 最良システム Claude Sonnet 4.6 でも ground-truth parameters の ±20% 以内の復元率は 7.7% のみ。 - これにより video-to-simulation gap が大きいことを定量的に示す。 - 2,430-video evaluation set と評価コードを公開。

5. 議論はある?

- 動画キャプションが運動の支配方程式や定量的パラメータの推論を意味しないことを示唆。 - モデルは物理法則を述べることはできるが、動画から推論しシミュレーションコードに落とす能力に大きな隔たりがある。 - この video-to-simulation gap は、動画から実行可能なシミュレーションへの変換やロボティクスにおける構造的物理監督にとって重要な課題。 - 要旨からは、失敗要因の詳細や改善手法についての議論は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存の video-physics benchmarks(plausibility, property estimation, future-state prediction を評価するもの)。 - 評価対象の MLLMs のうち Claude Sonnet 4.6 など state-of-the-art closed- and open-source モデル。 - 関連手法として SciPy simulations, PyBullet-rendered scenes, chain-of-thought を用いた推論。 - 同分野の定番として video understanding, code generation, physical reasoning に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Souraja Kundu, Aditya Gupta, Joel Julin, Yizhou Zhao, Liuyue Xie, Laszlo A. Jeni

分類: cs.CV

原文アブストラクト

Multimodal large language models (MLLMs) are good at video understanding and code generation, but it remains unclear whether they can recover the physical laws underlying videos, a capability essential for converting videos into executable simulations and for providing structured physical supervision in robotics. Captioning motion video does not imply that a model has inferred its governing dynamics, estimated quantitative parameters, or can regenerate the observed scene from code. Existing video-physics benchmarks evaluate plausibility, property estimation, or future-state prediction, but offer limited insight into whether models can translate visual dynamics into runnable simulation code. We introduce PhySimCode, a benchmark for physics video-to-code generation: given only a raw video, a model must infer the relevant physics, recover parameter values, and generate runnable Python that reproduces the input video. The dataset contains 160.6K procedurally generated samples spanning 162 physics phenomena across analytic SciPy simulations and PyBullet-rendered rigid-body, articulated, fluid, and contact-rich scenes; each sample bundles the simulation code, physical parameters, rendered video, and a structured chain-of-thought covering observations, laws, ODEs, numerical methods, and validation checks. We evaluate ten state-of-the-art closed- and open-source MLLMs along physical-law correctness, simulation equivalence, code executability, and parameter recovery. Models reliably state physics laws (4.27-4.93/5) yet score only 1.51-2.47/5 on inferring them from video, and the best system (Claude Sonnet 4.6) recovers just 7.7% of ground-truth parameters within $\pm 20\%$, exposing a substantial video-to-simulation gap. The 2,430-video evaluation set is available at https://huggingface.co/datasets/SourajaKundu123/PhySimCode and the evaluation code at https://github.com/SourajaKundu/PhySimCode

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI