マニピュレーション2025/12/1arXiv:2512.05955

SIMPACT: 視覚言語モデルによるシミュレーション活用型行動計画

SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models

視覚言語モデルにテスト時に物理シミュレーションを組み合わせ、追加学習なしで接触を伴う細かいマニピュレーションの行動計画を可能にした手法。

詳しい要約

1. どんなもの？

- VLMs を用いたロボット manipulation のための test-time フレームワーク - 名称は SIMPACT（SIMulation-enabled ACTion Planning） - 追加学習なしで VLM に物理的推論能力を与える - 単一の RGB-D 観測から physics simulation を構築 - VLM が行動を提案し、simulated rollout を観察して推論を反復的に洗練 - 剛体・変形物体の fine-grained manipulation を対象

2. 先行研究と比べてどこがすごい？

- 既存 VLMs は静的な internet-scale の視覚言語データで学習され、causal interaction や action-conditioned change を含まない - そのため物理 dynamics の grounded な理解が欠如し、fine-grained manipulation が困難 - SIMPACT は追加 training なしで simulation-in-the-loop world modeling を導入 - 既存の general-purpose robotic manipulation models を five つの実世界タスクで上回る SOTA 性能 - 言語推論と physics prediction を統合し、contact dynamics と action outcome を物理的に grounded に理解

3. 技術・手法の肝は？

- test-time かつ simulation-enabled な action planning フレームワーク - 単一 RGB-D 観測から効率的に physics simulation を構築 - VLM が informed action を提案 → simulated rollout を観察 → 推論を反復的に refine - simulation-in-the-loop world modeling により物理的推論を付与 - 追加学習は不要 - language reasoning と physics prediction を統合

4. どうやって有効だと検証した？

- five つの challenging な実世界 rigid-body および deformable manipulation タスクで評価 - fine-grained physical reasoning を要するタスク設定 - 既存の general-purpose robotic manipulation models と比較し、SOTA 性能を達成 - 詳細な実験条件・指標は要旨からは不明

5. 議論はある？

- test-time に効率的な simulation を組み込み physics 理解を VLM 推論に埋め込むことが、generalizable embodied intelligence への有望な道筋であると主張 - simulation 構築の効率性や実世界ギャップに関する具体的な議論は要旨からは不明 - 失敗事例や限界の詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている general-purpose robotic manipulation models（具体名は要旨からは不明） - VLM を用いた robotic manipulation 関連研究（具体名は要旨からは不明） - simulation-in-the-loop / world model を用いた action planning 関連研究（具体名は要旨からは不明） - 同分野の定番として RT-1 や RT-2、OpenVLA などの VLA モデル

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haowen Liu, Shaoxiong Yao, Haonan Chen, Jiawei Gao, Jiayuan Mao, Jia-Bin Huang, Yilun Du

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language Models (VLMs) exhibit remarkable common-sense and semantic reasoning capabilities. However, they lack a grounded understanding of physical dynamics. This limitation arises from training VLMs on static internet-scale visual-language data that contain no causal interactions or action-conditioned changes. Consequently, it remains challenging to leverage VLMs for fine-grained robotic manipulation tasks that require physical understanding, reasoning, and corresponding action planning. To overcome this, we present SIMPACT, a test-time, SIMulation-enabled ACTion Planning framework that equips VLMs with physical reasoning through simulation-in-the-loop world modeling, without requiring any additional training. From a single RGB-D observation, SIMPACT efficiently constructs physics simulations, enabling the VLM to propose informed actions, observe simulated rollouts, and iteratively refine its reasoning. By integrating language reasoning with physics prediction, our simulation-enabled VLM can understand contact dynamics and action outcomes in a physically grounded way. Our method demonstrates state-of-the-art performance on five challenging, real-world rigid-body and deformable manipulation tasks that require fine-grained physical reasoning, outperforming existing general-purpose robotic manipulation models. Our results demonstrate that embedding physics understanding via efficient simulation into VLM reasoning at test time offers a promising path towards generalizable embodied intelligence. Project webpage can be found at https://simpact-bot.github.io

arXivで原文を読む →arXiv概要ページ

SIMPACT: 視覚言語モデルによるシミュレーション活用型行動計画

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell