日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

身体化基盤モデルarXiv:2606.11324

Embodied-R1.5:身体化基盤モデルによる物理的知能の進化

Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

身体化された認知・計画・修正・指示を統合した基盤モデルを構築し、大規模データとマルチタスク強化学習で身体化VLMのSOTAを達成。さらに少量データでVLAに転移可能なことを示した。

詳しい要約

1. どんなもの?

- Embodied-R1.5は、embodied cognition、task planning、correction、pointingを単一アーキテクチャに統合した統合Embodied Foundation Model (EFM)である。 - 8Bパラメータで、24のembodied VLMベンチマーク中16でSOTAを達成。 - Gemini-Robotics-ER-1.5やGPT-5.4を上回る。 - 少量データでVLAにfine-tune可能で、4つのmanipulationベンチマークでπ_{0.5}を超える。 - zero-shot実ロボット実験でinstruction following、affordance grounding、articulated object manipulation、long-horizon complex tasksを検証。 - モデル重み、データセット、訓練コード、EmbodiedEvalKitをオープンソース化。

2. 先行研究と比べてどこがすごい?

- 従来のembodied VLMと比べ、embodied cognition、task planning、correction、pointingを単一モデルで統合。 - 8Bパラメータながら、Gemini-Robotics-ER-1.5やGPT-5.4などの大規模モデルを上回る性能を16/24ベンチマークで達成。 - 少量データでVLAにfine-tuneでき、π_{0.5}などのleading VLAモデルを4つのmanipulationベンチマークで凌駕。 - Planner-Grounder-Corrector (PGC) closed-loop frameworkにより、単一モデルでlong-horizonタスクの自律実行と自己修正が可能。 - 15Bトークン超の大規模データシステムとmulti-task balanced RL recipeを構築。

3. 技術・手法の肝は?

- 3つの自動データ構築パイプラインで重要能力のデータカバレッジを拡大し、15Bトークン超の大規模データシステムを構築。 - 異種タスク間の競合を緩和するmulti-task balanced RL recipeを設計。 - Planner-Grounder-Corrector (PGC) closed-loop frameworkを導入し、単一モデルがlong-horizonタスクを自律実行・自己修正。 - 内部化されたembodied能力により、少量データでVLAにfine-tune可能。 - EmbodiedEvalKitというembodiedタスク向け評価フレームワークを提供。

4. どうやって有効だと検証した?

- 24のembodied VLMベンチマークで評価し、16でSOTAを達成。 - Gemini-Robotics-ER-1.5やGPT-5.4と比較。 - 4つのpopular manipulation benchmark suitesでπ_{0.5}と比較し、上回る性能を確認。 - zero-shot実ロボット実験を実施し、instruction following、affordance grounding、articulated object manipulation、long-horizon complex tasksでの性能を検証。 - 物理世界への強いgeneralizationを示した。

5. 議論はある?

- 要旨からは、手法の限界や失敗事例、計算コスト、データバイアスなどの議論は明示されていない。 - 異種タスク間の競合をmulti-task balanced RL recipeで緩和すると述べているが、その詳細な分析は要旨からは不明。 - zero-shot実ロボット実験の具体的な設定や被験者数、統計的有意性は要旨からは不明。 - オープンソース化により再現性と今後の研究促進を意図している。

6. 次に読むべき論文は?

- Gemini-Robotics-ER-1.5 - GPT-5.4 - π_{0.5} - その他、要旨で参照されているembodied VLMベンチマークやmanipulation benchmark suitesに関連する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifu Yuan, Yaoting Huang, Xianze Yao, Yutong Li, Shuoheng Zhang, Linqi Han, Pengyi Li, Jiangeng Sun, Wenting Jia, Zhao Zhang, Yuhao Liu, Ruihao Liao, Yucheng Hu, Qiyu Wu, Yuxiao Li, Zibin Dong, Fei Ni, Yan Zheng, Shuyang Gu, Yi Ma, Hongyao Tang, Han Hu, Jianye Hao

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

We introduce Embodied-R1.5, a unified Embodied Foundation Model (EFM) that integrates comprehensive embodied reasoning capabilities, spanning embodied cognition, task planning, correction, and pointing, within a single architecture toward general physical intelligence. Leveraging three automated data construction pipelines to significantly expand the data coverage of critical capabilities, we build a large-scale data system of over 15B tokens, and design a multi-task balanced RL recipe to alleviate heterogeneous task conflicts. We further introduce a Planner-Grounder-Corrector (PGC) closed-loop framework that enables a single model to autonomously execute and self-correct over long-horizon tasks. With only 8B parameters, Embodied-R1.5 achieves SOTA on 16 out of 24 embodied VLM benchmarks, surpassing leading models like Gemini-Robotics-ER-1.5 and GPT-5.4. Benefiting from the internalized embodied capabilities, Embodied-R1.5 can be fine-tuned into a VLA with only a small amount of data, outperforming leading VLA models like $\pi_{0.5}$ across 4 popular manipulation benchmark suites. We further conduct extensive zero-shot real-robot experiments, validating performance in instruction following, affordance grounding, articulated object manipulation, and long-horizon complex tasks, demonstrating strong generalization to the physical world. We open-source model weights, datasets, training code, and EmbodiedEvalKit, an evaluation framework tailored for embodied tasks, to facilitate future research in EFMs.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI