日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2606.31101

合成事前分布からの世界行動モデルの効率的なSim-to-Real転移

Efficient Sim-to-Real Transfer of World-Action Models from Synthetic Priors

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションで訓練した世界行動モデルを実ロボットにゼロショット転移させる初の試みで、物体持ち上げや引き出し開閉などの操作タスクで35%の成功率を達成した。

詳しい要約

1. どんなもの?

シミュレーションの合成データのみで学習した world-action model を、実機に zero-shot で転移できるかを調べた研究。 - ベースは Cosmos Policy(visuomotor control 向けに適応した video diffusion model)。 - 対象タスクは object lifting、drawer opening、pick-and-place。 - 実機は Franka Robot。実 demonstrations は使わず、各タスク約800件の合成 demonstrations で学習。

2. 先行研究と比べてどこがすごい?

world-action model の sim-to-real 転移はこれまで示されていなかった点が新しい。 - 従来は実機 demonstrations が高コストで、synthetic data での代替が望まれていた。 - 本研究は実 demonstrations なし・zero-shot で実機に展開し、平均35%の成功率を達成。 - 著者らは「robotic manipulation における world-action model の sim-to-real 転移として初の成功」と主張。

3. 技術・手法の肝は?

Cosmos Policy を基盤に、video diffusion model を visuomotor control へ適応。 - シミュレーション環境に extensive domain randomization を適用。 - demonstrations は AnyTask motion planning pipeline で生成。 - 各タスク約800件の合成 demonstrations を用い、実 demonstrations は使用しない。 - 学習済みモデルを Franka Robot に zero-shot 展開。

4. どうやって有効だと検証した?

object lifting、drawer opening、pick-and-place の3タスクで評価。 - 各タスク約800件の合成 demonstrations のみで学習。 - 実機 Franka Robot に zero-shot 展開し、平均成功率35%を報告。 - 実 demonstrations なしでの性能を測定。

5. 議論はある?

要旨からは不明。 - 成功率35%の要因分析や失敗モード、domain randomization の寄与、限界については記述がない。 - 実 demonstrations なしでの zero-shot 転移の一般性や他タスクへの拡張性も要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究は Cosmos Policy と AnyTask motion planning pipeline。 - 関連手法として video diffusion model を用いた visuomotor control、domain randomization、sim-to-real transfer の定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixing Wang, Kausik Sivakumar, Jinghuan Shang, Yafei Hu, Zhaoming Xie, Ran Gong, Xiaohan Zhang, Karl Schmeckpeper

分類: cs.RO

原文アブストラクト

Bridging the sim-to-real gap is a core challenge in deploying learned manipulation policies. Sim-to-real learning is attractive because it can replace expensive real robot demonstrations with scalable synthetic data, yet world-action models have not previously been shown to transfer from simulation to real robotic manipulation. We study whether a world-action model can be trained from synthetic priors and deployed zero-shot in the real world. To this end, we build upon Cosmos Policy, a video diffusion model adapted for visuomotor control. We construct simulation environments with extensive domain randomization and generate demonstrations using the AnyTask motion planning pipeline. We evaluate our approach across object lifting, drawer opening, and pick-and-place tasks using ${\sim}800$ synthetic demonstrations per task and no real demonstrations. When deployed zero-shot on a Franka Robot, our policy attains a 35\% average success rate. To our knowledge, this represents the first successful sim-to-real transfer of a world-action model for robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI