日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2607.19190

エージェント型Real2Sim:視覚言語エージェントによる物理ベースの世界モデリング

Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents

シェア:XThreadsFacebookLINEはてブBluesky

ロボットと物体の相互作用の実世界記録を、物理シミュレーション可能な双子モデルに自動変換するフレームワークを提案。視覚言語エージェントが幾何・物理パラメータ・軌道などを自律的に推定し、剛体操作から変形物体、人型動作までを統一的に扱う。

詳しい要約

1. どんなもの?

Agentic Real2Simは、ロボットと物体の相互作用の実世界記録を、物理シミュレーション可能なエピソード双対(episodic twin)へ変換するフレームワークである。視覚言語エージェント(vision-language agents)を用いて、シーンの幾何学、物体状態、物理パラメータの推定、およびアクター、物体、カメラ、ポーズ、軌道の組み立てを自動化し、実行可能な物理シミュレーションを構築する。剛体操作、変形物体操作、人型モーションシーンなど、従来は別々のReal2Simパイプラインで扱われていた領域を統一的に扱うことを目指す。

2. 先行研究と比べてどこがすごい?

従来のReal2Sim変換は、視覚基盤モデルの手動調整、メッシュのクリーンアップ、座標系の位置合わせ、視覚ツールとシミュレータ間の脆いワークフロー接着に依存しており、労働集約的であった。Agentic Real2Simは、これらの手動ステップを視覚言語エージェントによる自律的な意思決定で置き換え、複数の領域(剛体、変形体、人型)を単一のフレームワークで扱えるようにした点が新しい。また、オープンウェイトのVLMバックエンドを使用することで、フロンティアモデルと比較して低コストで同等の変換成功率を達成する。

3. 技術・手法の肝は?

手法の核心は、視覚言語エージェント(VLM)を活用したエージェント的ワークフローである。具体的には、実世界の記録からシーン幾何学と物体状態を復元し、物理パラメータを推定し、アクター、物体、カメラ、ポーズ、軌道を組み立てて、実行可能な物理シミュレーションを構築する。エージェントは視覚基盤モデルやシミュレータをツールとして呼び出し、各ステップの意思決定を自律的に行う。オープンウェイトのVLMバックエンドを利用可能で、コストを抑えつつフロンティアモデルに匹敵する性能を実現する。

4. どうやって有効だと検証した?

剛体物体操作、変形物体相互作用、人型モーションシーンを含む複数の領域で評価を行い、それぞれの領域で変換が成功することを示した。また、オープンウェイトのVLMバックエンドとフロンティアモデルを比較し、変換成功率が同等であることを確認した。具体的な数値や比較ベースラインは要旨からは不明。

5. 議論はある?

要旨からは、スケーラブルな変換への第一歩と位置づけられており、今後の課題として、より複雑なシーンや多様な物体への対応、変換精度の向上、下流タスク(ポリシー学習や評価)への応用が考えられる。また、VLMの意思決定の解釈可能性や、物理シミュレーションの忠実度に関する議論の余地があるが、詳細は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、Real2Sim変換の分野では、視覚基盤モデル(visual foundation models)や物理シミュレータ(physics simulators)に関する研究が関連する。また、VLMをエージェントとして使用する研究(Vision-Language-Agent)や、ロボット学習のためのシミュレーション利用(sim-to-real transfer)に関する論文が次に読むべき候補となる。具体的には、"Real2Sim"や"Sim2Real"のサーベイ論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guanxiong Chen, Qianjun Xia, Jiawei Peng, Heng Zhang, Bole Ma, Justin Qian, Ziyi Jiao, Bingyang Zhou, Luoxin Ye, Kaifeng Zhang, Kunyi Wang, Weijia Zeng, Yunuo Chen, Pengzhi Yang, Ziqiu Zeng, Siyuan Luo, Huamin Wang, Chao Liu, Alan Yuille, Fan Shi, Changxi Zheng, Yunzhu Li, Chenfanfu Jiang, Peter Yichen Chen

分類: cs.RO, cs.AI

原文アブストラクト

Real-to-sim conversion for robotic interaction with objects remains labor-intensive because it requires more than visual reconstruction: a streamlined real2sim process must recover scene geometries and object states, infer physical parameters, and assemble actors, objects, cameras, poses, and trajectories into a runnable physical simulation. Today this process still depends on manual tuning of visual foundation models, mesh cleanup, coordinate-frame alignment, and brittle workflow glue across visual perception tools and simulators. We introduce \textit{Agentic Real2Sim}, a framework for generalized physical world modeling with vision-language agents, converting a real-world recording of object-robot interaction into a simulatable episodic twin which preserves observations, geometries, robot interactions, and object states. We evaluate Agentic Real2Sim on rigid-object manipulation, deformable-object interaction, and humanoid motion scenes, spanning domains that are usually handled by separate Real2Sim pipelines, marking a first step toward scalable conversion. The framework's agentic decisions can be driven by an open-weight VLM backend at a small fraction of the cost of frontier models, while attaining comparable conversion success rate. We aim to use the resulting real-world-aligned twins for downstream robotics tasks, specifically policy learning and evaluation. The project site is available at https://agentic-real2sim.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI