SimFoundry: ポリシー学習と評価のためのモジュール式自動シーン生成

- ビデオからzero-shot real-to-simでシーンを構築するモジュール式自動システムSimFoundryを提案。 - sim-readyなdigital twinを生成し、object・scene・taskの編集をサポート。 - 多様なdigital cousins（affordanceを保った実世界シーンの変種）を自動生成。 - 生成データで学習したpolicyがmulti-step manipulation、articulated object interaction、bimanual interactionへzero-shot転移。 - 7つのmanipulationタスクと5つのpolicy architectureで評価。

- 実世界でのpolicy学習・評価は高コストでスケール困難という課題に対し、ビデオからの自動real-to-sim構築を実現。 - 単なるdigital twin生成に留まらず、object・scene・taskの編集によるdigital cousinsの自動生成を可能にした点が特徴。 - 従来のsim評価が実世界性能をどこまで予測できるか不明瞭な中、平均Pearson correlation 0.911、平均maximum ranking violation 0.018と高い予測性を示した。 - 具体的な先行研究名は要旨からは不明。

- ビデオ入力からzero-shotでreal-to-simシーンを構築するモジュール式パイプライン。 - sim-readyなdigital twinを生成し、object・scene・taskの編集機能を提供。 - affordanceを保持したまま実世界シーンの変種（digital cousins）を自動生成。 - これらをpolicy学習・評価に用いることで、実世界へのzero-shot転移と汎化を狙う。 - 詳細なアルゴリズムや構成要素は要旨からは不明。

- 7つのmanipulationタスクと5つのpolicy architectureで評価。 - SimFoundryのsimulation評価が実世界性能を強く予測し、平均Pearson correlation 0.911、平均maximum ranking violation 0.018。 - sim学習policyを実世界でzero-shot評価し、object・scene・task cousinsを用いた場合、平均タスク成功率がそれぞれ17%、21%、40%向上。 - multi-step manipulation、articulated object interaction、bimanual interactionを含む難タスクで転移を確認。

- digital cousinsが新たな実世界条件への汎化を促進することが示唆される。 - sim評価が実世界性能を強く予測できる可能性を示す一方、限界や失敗事例、計算コスト、real-to-simのギャップに関する議論は要旨からは不明。 - 倫理的・実運用上の課題についても要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法としてreal-to-sim、digital twin、domain randomization、sim-to-real transfer、policy learning、manipulation benchmarkが挙げられる。 - 同分野の定番としてRoboSuite、ManiSkill、RLBench、Isaac Sim、Domain Randomizationなどの一般名が考えられるが、要旨に記載はない。