日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2606.22062

シミュレーションから実機への転移予算はどう使うべきか

How Should a Simulation-to-Reality Transfer Budget Be Spent?

シェア:XThreadsFacebookLINEはてブBluesky

実機計測時間をシステム同定とドメインランダム化のどちらに割り当てるべきかを、隠れパラメータを持つ振り子のシミュレーション環境で調査した論文。計測が転移ギャップの大部分を縮め、ランダム化の幅を広げるよりも推定パラメータでの学習が有効であることを示した。

詳しい要約

1. どんなもの?

- ロボット学習におけるsim-to-real transferの中心課題である、実機測定時間の配分問題を扱う。 - system identificationとdomain randomizationの間で、実機測定予算をどう配分すべきかを検討。 - 制御されたsim-to-sim pendulum設定で、隠れパラメータモデルを物理ロボットの代わりに用いる。 - identification rolloutsの数とrandomization分布の幅を掃引する実験を実施。

2. 先行研究と比べてどこがすごい?

- 従来、system identificationとdomain randomizationのトレードオフは十分に理解されていなかった。 - 本研究は、測定予算の配分に焦点を当て、両手法の効果を定量的に比較。 - 広いrandomizationが真のシステムを含んでいても測定の代替にはならないことを示した。 - 実データが少しでもあれば、推定パラメータで訓練する方が広いrandomizationより良い性能を達成。

3. 技術・手法の肝は?

- 制御されたsim-to-sim pendulum環境を構築し、隠れパラメータモデルを物理ロボットの代理とする。 - identification rolloutsの数とrandomization分布の幅を系統的に変化させる実験を実施。 - 現実ギャップとノイズレベルを変化させ、測定予算の効果を評価。 - 動力学が同定可能で未知パラメータが2つの良性領域に限定。

4. どうやって有効だと検証した?

- 複数の現実ギャップとノイズレベルで実験を行い、測定予算が大部分の仕事を果たすことを確認。 - 少数のidentification rolloutsで転移ギャップの大部分が閉じることを示した。 - 実データが利用可能になると、推定パラメータでの訓練が最良の性能を発揮することを検証。 - 広いrandomizationが真のシステムを含んでいても測定の代替にならないことを実証。

5. 議論はある?

- 結果は動力学が同定可能で未知パラメータが2つの良性領域に限定される。 - 構造的モデルミスマッチがある場合、randomizationの幅がより価値を持つ可能性が残る。 - sim-to-realパイプラインは、まず測定可能なパラメータを測定し、残る不確実性にrandomizationを予約すべきと示唆。 - 測定予算の配分に関する一般的なガイドラインを提供するが、限界も明記。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、domain randomization (Tobin et al., 2017) や system identification (Chebotar et al., 2019) が挙げられる。 - 構造的モデルミスマッチ下でのrandomizationの価値を探る研究が次に読むべき候補。 - sim-to-real transferのサーベイ論文も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Syed Hamzah Rizvi, Yash Vardhan Tomar

分類: cs.RO, cs.LG

原文アブストラクト

Simulation-to-reality transfer, often called sim-to-real transfer, is a central challenge in robot learning. Yet, the tradeoff between measuring a system more accurately and training over a broader range of simulated dynamics is still poorly understood. In this work, we focused on the allocation of real-robot measurement time between system identification and domain randomization. We studied this tradeoff in a controlled sim-to-sim pendulum setting, where a hidden-parameter model stands in for the physical robot, and the experiment sweeps identification rollouts against the width of the randomization distribution. Across the reality gaps and noise levels we tested, the measurement budget did most of the work. A small number of identification rollouts closed most of the transfer gap, and once any real data was available, policies performed best when trained at the estimated parameters rather than over a widened randomization band. Broad randomization that contained the true system still did not substitute for measurement. These results hold in a benign regime where the dynamics are identifiable and only two parameters are unknown, so structural model mismatch remains the setting where randomization breadth may become more valuable. Overall, our results suggest that sim-to-real pipelines should first measure the parameters they can and reserve randomization for the uncertainty that remains.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI