日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2511.04769

ReGen: 逆設計による生成的ロボットシミュレーション

ReGen: Generative Robot Simulation via Inverse Design

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動とテキスト記述から、その行動を引き起こしうるシナリオや環境を大規模言語モデルで推論し、シミュレーションを自動生成するフレームワーク。

詳しい要約

1. どんなもの?

- ロボットの振る舞い(motion trajectory や objective function)とその textual description を入力として、その振る舞いを引き起こしうる plausible な scenario と environment を推論し、simulation を自動構築する generative simulation framework「ReGen」 - inverse design の考え方に基づき、behavior から原因となる状況を逆算して simulation を生成する - autonomous driving と robot manipulation のタスクで実証されている - code と example videos は https://regen-sim.github.io/ で公開

2. 先行研究と比べてどこがすごい?

- simulation 構築は従来 labor-intensive な手作業が中心であったのに対し、ReGen は behavior と textual description から自動生成する - 既存 simulation と比較して、より diverse で complex な simulated environment を高い success rate で生成できると主張 - corner cases に対する controllable な生成が可能 - ego-agent の behavior に基づく simulation の augment、counterfactual scenario 生成、agent の cognition や mental state の reasoning、faulty GPS による braking のような異なる sensing modality での reasoning を支援する点が特徴

3. 技術・手法の肝は?

- large language models を用いて、cause-and-effect relationships、relevant entities、それらの properties を符号化した directed graph を拡張することで scenario を合成 - この structured graph を symbolic program に変換し、その program が robot simulation environment を configure して execute する - behavior(motion trajectory や objective function)と textual description を入力に、それを引き起こした plausible な scenario/environment を inverse design 的に推論するパイプライン

4. どうやって有効だと検証した?

- autonomous driving と robot manipulation のタスクで ReGen を実証 - 既存 simulation と比較して、より diverse で complex な simulated environment を高い success rate で生成できることを示した - corner cases に対する controllable な生成が可能であることを示した - 具体的な評価指標やデータセットの詳細は要旨からは不明

5. 議論はある?

- ReGen により robot policy の validation が強化され、data や simulation の augmentation を支援し、scalable robot learning の generalization と robustness 向上に寄与すると主張 - 生成された scenario の妥当性や、LLM に依存することの限界、sim-to-real のギャップなどについては要旨からは不明 - 定量的な比較結果の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている個別研究は明示されていない - 関連手法として、large language models を用いた simulation/scenario 生成、inverse design、counterfactual scenario generation、autonomous driving の corner case 生成、robot manipulation の simulation augmentation に関する研究が次に読むべき候補 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Phat Nguyen, Tsun-Hsuan Wang, Zhang-Wei Hong, Erfan Aasi, Andrew Silva, Guy Rosman, Sertac Karaman, Daniela Rus

分類: cs.RO

原文アブストラクト

Simulation plays a key role in scaling robot learning and validating policies, but constructing simulations remains a labor-intensive process. This paper introduces ReGen, a generative simulation framework that automates simulation design via inverse design. Given a robot's behavior -- such as a motion trajectory or an objective function -- and its textual description, ReGen infers plausible scenarios and environments that could have caused the behavior. ReGen leverages large language models to synthesize scenarios by expanding a directed graph that encodes cause-and-effect relationships, relevant entities, and their properties. This structured graph is then translated into a symbolic program, which configures and executes a robot simulation environment. Our framework supports (i) augmenting simulations based on ego-agent behaviors, (ii) controllable, counterfactual scenario generation, (iii) reasoning about agent cognition and mental states, and (iv) reasoning with distinct sensing modalities, such as braking due to faulty GPS signals. We demonstrate ReGen in autonomous driving and robot manipulation tasks, generating more diverse, complex simulated environments compared to existing simulations with high success rates, and enabling controllable generation for corner cases. This approach enhances the validation of robot policies and supports data or simulation augmentation, advancing scalable robot learning for improved generalization and robustness. We provide code and example videos at: https://regen-sim.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI