日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.15155

自己改善する身体性基盤モデル

Self-Improving Embodied Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット基盤モデルの事後学習を2段階(行動クローン+残りステップ予測のSFT、その後自己改善)で行い、人手を最小限に自律的なスキル獲得と高い成功率を実現した研究。

詳しい要約

1. どんなもの?

- ロボティクス向け Embodied Foundation Models の二段階 post-training 手法の提案 - 第一段階: Supervised Fine-Tuning (SFT) - behavioral cloning と steps-to-go prediction の二目的で pretrained foundation model を fine-tune - 第二段階: Self-Improvement - steps-to-go prediction から well-shaped reward function と robust success detector を抽出 - 複数ロボット fleet が最小限の human supervision で下流タスクを自律練習 - 実世界およびシミュレーションの robot embodiments で検証した研究

2. 先行研究と比べてどこがすごい?

- 従来の foundation model のロボティクス応用は低レベル制御では behavioral cloning にほぼ限定 - LLM fine-tuning における reinforcement learning 段階の成功に着想を得た二段階 post-training をロボティクスに導入 - SFT と Self-Improvement の組合せは imitation data 収集のスケーリングより有意に sample-efficient - より高い success rate の policy を実現 - web-scale pretraining と Self-Improvement の組合せが sample-efficiency の鍵であることを ablation で示唆 - 既存手法では不可能な、imitation learning データセットの挙動を超えて汎化する新規スキルの自律獲得を可能に

3. 技術・手法の肝は?

- 二段階 post-training - 第一段階 SFT: behavioral cloning と steps-to-go prediction を同時に学習 - 第二段階 Self-Improvement: steps-to-go prediction を利用 - well-shaped reward function を抽出 - robust success detector を構築 - これらによりロボット fleet が下流タスクを自律的に練習 - web-scale pretraining 済み foundation model を出発点とする点が構成要素 - 具体的なネットワーク構成やアルゴリズム詳細は要旨からは不明

4. どうやって有効だと検証した?

- 実世界およびシミュレーションの robot embodiments で extensive experiments を実施 - SFT + Self-Improvement が imitation data 収集のスケーリングより sample-efficient であることを示す - より高い success rate を達成することを示す - web-scale pretraining と Self-Improvement の組合せが sample-efficiency の鍵であることを ablation で確認 - imitation learning データセットの挙動を超えて汎化する新規スキルの自律獲得を実証 - 定量指標の詳細やベースラインの具体名は要旨からは不明

5. 議論はある?

- web-scale pretraining と online Self-Improvement の組合せがロボティクスにおける自律的スキル獲得を可能にする可能性を強調 - sample-efficiency と success rate の両面での利点を主張 - 既存手法では得られない汎化的な新規スキル獲得能力を提示 - 限界・失敗事例・安全性や実運用上の課題についての具体的議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - behavioral cloning を用いたロボティクス foundation model 応用 - LLM fine-tuning における reinforcement learning 段階 - imitation data 収集をスケールする supervised learning - 関連手法として - Supervised Fine-Tuning (SFT) - steps-to-go prediction を用いた reward shaping - Self-Improvement / online reinforcement learning - 同分野の定番として robot imitation learning および vision-language-action 系の foundation model 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seyed Kamyar Seyed Ghasemipour, Ayzaan Wahid, Jonathan Tompson, Pannag Sanketi, Igor Mordatch

分類: cs.LG, cs.RO

原文アブストラクト

Foundation models trained on web-scale data have revolutionized robotics, but their application to low-level control remains largely limited to behavioral cloning. Drawing inspiration from the success of the reinforcement learning stage in fine-tuning large language models, we propose a two-stage post-training approach for robotics. The first stage, Supervised Fine-Tuning (SFT), fine-tunes pretrained foundation models using both: a) behavioral cloning, and b) steps-to-go prediction objectives. In the second stage, Self-Improvement, steps-to-go prediction enables the extraction of a well-shaped reward function and a robust success detector, enabling a fleet of robots to autonomously practice downstream tasks with minimal human supervision. Through extensive experiments on real-world and simulated robot embodiments, our novel post-training recipe unveils significant results on Embodied Foundation Models. First, we demonstrate that the combination of SFT and Self-Improvement is significantly more sample-efficient than scaling imitation data collection for supervised learning, and that it leads to policies with significantly higher success rates. Further ablations highlight that the combination of web-scale pretraining and Self-Improvement is the key to this sample-efficiency. Next, we demonstrate that our proposed combination uniquely unlocks a capability that current methods cannot achieve: autonomously practicing and acquiring novel skills that generalize far beyond the behaviors observed in the imitation learning datasets used during training. These findings highlight the transformative potential of combining pretrained foundation models with online Self-Improvement to enable autonomous skill acquisition in robotics. Our project website can be found at https://self-improving-efms.github.io .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI