日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2610.00821

実世界とシミュレーションの共同学習における世界と行動のグラウンディング

Getting Out and Getting Back: World and Behavior Grounding in Real2Sim2Real Co-Training

シェア:XThreadsFacebookLINEはてブBluesky

実世界のデモをシミュレーションで拡張する共同学習において、世界の忠実性と人間行動との類似性が政策性能に与える影響を分析し、完全なグラウンディングで成功率が52%から86%に向上することを示した。

詳しい要約

1. どんなもの?

- 実世界のデモンストレーションをシミュレーションで拡張するco-trainingにおいて、world fidelityとbehavior similarityが政策性能に与える影響を調査。 - world grounding(シミュレーションを実システムに合わせる)とbehavior grounding(シミュレーション軌道を人間の動きに合わせる)を区別。 - real2sim2realパイプラインを構築し、動的なdexterous pick-and-sortタスクで評価。

2. 先行研究と比べてどこがすごい?

- 従来のco-training研究では、シミュレーションの忠実度や人間行動との類似性が政策性能にどう影響するか不明確だった。 - 本研究はworld groundingとbehavior groundingを独立に変化させ、それぞれの寄与を定量的に示した点が新しい。 - 完全にgroundedなco-trainingで成功率が52%から86%に向上。平均してworld groundingは18ポイント、behavior groundingは10ポイント改善。

3. 技術・手法の肝は?

- real2sim2realパイプラインを構築し、world groundingとbehavior groundingを独立に変化させてデータを生成。 - 動的なdexterous pick-and-sortタスクでco-trainingを実施。 - 潜在空間分析により、展開された政策が実デモとシミュレーション由来の政策の混合のように振る舞うことを調査。

4. どうやって有効だと検証した?

- 動的なdexterous pick-and-sortタスクで実験。 - 完全にgroundedなco-trainingで成功率が52%から86%に向上。 - 平均してworld groundingが18ポイント、behavior groundingが10ポイントの改善をもたらすことを確認。 - 潜在空間分析により、政策が実デモを模倣する状態とシミュレーション行動に依存する状態を特定。

5. 議論はある?

- world groundingは実データの範囲を超えてシミュレーション経験を活用可能にする。 - behavior groundingはworld groundingが不完全な場合に主に重要。 - これらの結果は補完的な役割を示唆。 - grounded simulationはfoundation modelsのco-trainingでも有益であることを示唆。

6. 次に読むべき論文は?

- 要旨からは不明(参照/比較されている研究が明示されていないため)。同分野の定番として、sim-to-real transfer、domain randomization、co-trainingに関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Samuel Liu, Youngsun Kim, Martin Matak, Gilwoo Lee

分類: cs.RO

原文アブストラクト

Simulation can expand scarce real demonstrations for co-training, yet how world fidelity and similarity to human behavior affect policy performance remains unclear. We distinguish world grounding, which aligns simulation with the real system, and behavior grounding, which aligns simulated trajectories with human motion. We build a real2sim2real pipeline that varies these axes independently to generate data for co-training. On a dynamic dexterous pick-and-sort task, fully grounded co-training raises success from 52% to 86%; averaged across configurations, world grounding improves success by 18 percentage points and behavior grounding by 10. Deployed policies behave like a mixture of real-derived and simulation-derived policies, imitating real demonstrations in covered states and relying on simulated behavior elsewhere, which we examine through latent-space analysis. Together, these results suggest complementary roles: world grounding lets policies use simulated experience beyond real-data coverage, while behavior grounding matters mainly when world grounding is imperfect. Grounded simulation remains beneficial when co-training foundation models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI