日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2603.16861

MolmoB0T: 大規模シミュレーションによるゼロショット操作の実現

MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

大規模で多様なシミュレーションデータのみを用いて、実世界へのゼロショット転移が可能であることを示し、静的・移動操作の両方で有効なポリシーを訓練した。

詳しい要約

1. どんなもの?

- 大規模シミュレーションのみで実世界へのzero-shot転移を実現する研究。 - MolmoBot-Engine: ロボット・タスク・環境を手続き的に生成する完全オープンソースのパイプライン。 - MolmoBot-Data: 関節物体操作とpick-and-placeの180万expert trajectories。 - 3つのpolicy: MolmoBot (Molmo2ベースのmulti-frame VLM + flow-matching action head)、MolmoBot-Pi0 (π0再現)、MolmoBot-SPOC (軽量・RL fine-tuning向け)。 - Franka FR3とRainbow Robotics RB-Y1で評価。

2. 先行研究と比べてどこがすごい?

- 従来はsim-to-realに実世界データ収集やタスク特化fine-tuningが必須と広く信じられていた。 - 本研究はその前提を覆し、大規模で多様なシミュレーション合成データのみでzero-shot転移が可能かつ有効と示す。 - tabletop pick-and-placeでMolmoBotは実世界成功率79.2% (4設定)、π0.5の39.2%を上回る。 - 静的・移動マニピュレーション両方で有効性を示す。

3. 技術・手法の肝は?

- MolmoBot-Engineによる手続き的データ生成: ロボット・タスク・多様なシミュレーション環境(MolmoSpaces)を横断。 - MolmoBot-Data: 関節物体操作とpick-and-placeの180万expert trajectories。 - MolmoBot: Molmo2ベースのmulti-frame vision-language modelにflow-matching action headを組み合わせる。 - MolmoBot-Pi0: π0アーキテクチャを再現し直接比較を可能に。 - MolmoBot-SPOC: edge展開向け軽量policyでRL fine-tuning可能。

4. どうやって有効だと検証した?

- 2つのロボットプラットフォームで評価: Franka FR3 (tabletop manipulation)、Rainbow Robotics RB-Y1 (mobile manipulator)。 - RB-Y1ではdoor opening、drawer manipulation、cabinet interaction、mobile pick-and-placeを評価。 - 実世界fine-tuningなしで未見物体・環境へのzero-shot転移を達成。 - tabletop pick-and-placeで4設定にわたりMolmoBotが79.2%の成功率、π0.5の39.2%を上回る。

5. 議論はある?

- 手続き的環境生成と多様な関節アセットの組み合わせが、実世界に広く汎化する頑健なmanipulation policyを生み出せることを示唆。 - 従来の『simulation alone is not enough』という見方を覆す結果。 - 具体的な限界・失敗事例・議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- π0 (MolmoBot-Pi0が再現・比較) - π0.5 (実世界評価で比較) - Molmo2 (MolmoBotのベースVLM) - MolmoSpaces (シミュレーション環境) - flow-matching action head 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna

分類: cs.RO

原文アブストラクト

A prevailing view in robot learning is that simulation alone is not enough; effective sim-to-real transfer is widely believed to require at least some real-world data collection or task-specific fine-tuning to bridge the gap between simulated and physical environments. We challenge that assumption. With sufficiently large-scale and diverse simulated synthetic training data, we show that zero-shot transfer to the real world is not only possible, but effective for both static and mobile manipulation. We introduce MolmoBot-Engine, a fully open-source pipeline for procedural data generation across robots, tasks, and diverse simulated environments in MolmoSpaces. With it, we release MolmoBot-Data, a dataset of 1.8 million expert trajectories for articulated object manipulation and pick-and-place tasks. We train three policy classes: MolmoBot, a Molmo2-based multi-frame vision-language model with a flow-matching action head; MolmoBot-Pi0, which replicates the $\pi_0$ architecture to enable direct comparison; and MolmoBot-SPOC, a lightweight policy suitable for edge deployment and amenable to RL fine-tuning. We evaluate on two robotic platforms: the Franka FR3 for tabletop manipulation tasks and the Rainbow Robotics RB-Y1 mobile manipulator for door opening, drawer manipulation, cabinet interaction, and mobile pick-and-place. Without any real-world fine-tuning, our policies achieve zero-shot transfer to unseen objects and environments. On tabletop pick-and-place, MolmoBot achieves a success rate of 79.2% in real world evaluations across 4 settings, outperforming $\pi_{0.5}$ at 39.2%. Our results demonstrate that procedural environment generation combined with diverse articulated assets can produce robust manipulation policies that generalize broadly to the real world. Technical website: https://allenai.github.io/MolmoBot

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI