日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2609.23103

DiagGen: ロボットシミュレーションのためのシミュレーションベース診断による変形可能アセットのエージェント生成

DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation

シェア:XThreadsFacebookLINEはてブBluesky

1枚の画像から変形可能なシミュレーション用アセットを生成し、物理シミュレータで診断・修復するエージェントフレームワークを提案。

詳しい要約

1. どんなもの?

- 単一の in-the-wild 画像から simulation-ready な deformable asset を生成する agentic framework「DiagGen」 - generate–simulate–diagnose–refine のループで、part-aware な geometry と material parameter を構築 - VLM-based agent が意味的に情報量の多い領域を選び、physics simulator で probe して material response を観察 - 証拠に基づく repair cue を生成段階へルーティングする - 40 asset での実験と contact-rich pick-and-place の planning/simulation への投入を示す

2. 先行研究と比べてどこがすごい?

- 既存の生成フレームワークは生成後に物理的妥当性を評価するのみで、simulated response を上流の誤り修復の feedback に使っていなかった - DiagGen は simulate の結果を diagnose し refine に戻す閉ループを導入 - visual foundation model 由来の asset は simulatable でない場合があるが、DiagGen 生成の deformable は高忠実度 simulator に直接投入可能 - 診断が有用な repair cue を与え、生成品質を moderate に改善できることを示す

3. 技術・手法の肝は?

- generate–simulate–diagnose–refine の agentic loop - part-aware な geometry と material parameter の構築 - VLM-based agent による意味的に情報量の多い領域の選択 - physics simulator での probe と material response の観察 - 証拠に基づく repair cue を責任ある生成段階へルーティング

4. どうやって有効だと検証した?

- 40 asset での実験 - diagnostics が有用な repair cue を提供し、生成 deformable asset の品質を moderate に改善することを確認 - DiagGen 生成 deformable を高忠実度 physical simulator に直接投入し、contact-rich pick-and-place の planning と simulation を実施 - 詳細な評価指標やベースラインは要旨からは不明

5. 議論はある?

- 診断による修復 cue の有用性と品質改善は moderate と報告 - visual foundation model 由来 asset の simulatable でない可能性との対比 - 限界、失敗例、計算コスト、一般化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- visual foundation model を用いた asset 生成(要旨で対比) - simulation-ready deformable asset 生成の既存フレームワーク(要旨で言及) - VLM-based agent と physics simulator を組み合わせた診断・修復手法 - contact-rich pick-and-place の planning/simulation に関する研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guanxiong Chen, Yiduo Qu, Qianjun Xia, Pengyu Jing, Yixian Cheng, Bole Ma, Pengzhi Yang, Bingyang Zhou, Ziming Li, Shashwat Suri, Gongbo Sun, Chao Liu, Peter Yichen Chen, Ziqiu Zeng, Fan Shi

分類: cs.RO, cs.AI

原文アブストラクト

While simulation-ready deformable assets are essential for in-silico robotic manipulation tasks, existing generation frameworks typically assess physical plausibility after generation, leaving an object's simulated response unused as feedback for repairing upstream errors. We present DiagGen, an agentic framework that turns a single in-the-wild image into a simulation-ready deformable asset through a generate--simulate--diagnose--refine loop. DiagGen constructs part-aware geometry and material parameters, then uses a VLM (vision-language model)-based agent to select semantically informative regions, probe them in a physics simulator, observe material responses, and route evidence-backed repair cues to the responsible generation stage. Experiments on 40 assets show that diagnostics provides useful repair cues and can moderately improve the quality of generated deformable assets. Finally, we show that unlike assets generated from visual foundation models which may not be simulatable, DiagGen-generated deformables can be directly dropped into a high-fidelity physical simulator for the planning and simulation of contact-rich pick-and-place tasks. The project's website is https://diaggen.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI