日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.10305

SARM2: 自己改善型ロボット操作のためのマルチタスク段階認識報酬モデリング

SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

長期的なロボット操作タスクにおいて、行動クローニングに依存せず、自己ロールアウトからポリシーを改善するための、段階推定器とMMoE価値ヘッドを組み合わせたマルチタスク報酬モデルRMと、それを用いた自己改善フレームワークSPIRALを提案した。

詳しい要約

1. どんなもの?

本論文は、ロボットマニピュレーションのための自己改善フレームワークを提案する。 - 長期的な操作タスクにおける VLA (vision-language-action) ポリシーの微調整は behavior cloning に依存し、高品質なデモンストレーションを必要とする問題がある。 - これを解決するため、マルチタスクでステージ認識型の報酬モデル RM を導入する。 - RM は action-primitive-based stage estimator と multi-gate Mixture-of-Experts (MMoE) value head を組み合わせ、密な per-step 報酬を生成する。 - さらに、RM を活用した on-policy 報酬誘導フレームワーク SPIRAL (Self-Policy Improvement via Reward-Aligned Learning) を提案し、安価な自律ロールアウトから VLA ポリシーを改善する。

2. 先行研究と比べてどこがすごい?

既存手法には以下の課題があった。 - タスク固有のステージ認識モデルは正確だが、タスクごとのアノテーションが必要。 - 汎用 VLM 報酬モデルは広く適用可能だが、長期的な進捗に対して粗すぎる。 - 提案する RM は、マルチタスクでステージ認識型の報酬モデルであり、アノテーションなしで密で正確な報酬を生成できる点が優れている。 - 10 タスクのベンチマークで、RM は最強のベースラインと比較して value-estimation MSE を 80% 削減した。

3. 技術・手法の肝は?

技術の肝は以下の通り。 - action-primitive-based stage estimator により、操作タスクの進行段階を推定する。 - multi-gate Mixture-of-Experts (MMoE) value head を用いて、マルチタスクで密な per-step 報酬を生成する。 - SPIRAL は on-policy 報酬誘導フレームワークであり、自律ロールアウトから VLA ポリシーを改善する。 - これにより、高価なデモンストレーションに依存せず、ロボットデータの flywheel を安定化させる。

4. どうやって有効だと検証した?

有効性は以下のように検証された。 - 10 タスクのベンチマークで、RM が value-estimation MSE を最強ベースライン比で 80% 削減。 - SPIRAL を用いることで、Folding Shorts タスクの成功率が 58% から 100% に、Cleaning Whiteboard タスクが 50% から 90% に向上。 - 全体として、タスク成功率が約 50% からほぼ完璧な性能に改善された。

5. 議論はある?

議論点は以下の通り。 - 高品質な密報酬が安定したロボットデータ flywheel の鍵であることが示された。 - しかし、RM の汎化性能や他のタスクへの適用可能性については要旨からは不明。 - SPIRAL の計算コストや実ロボットへの展開に関する議論は要旨からは不明。

6. 次に読むべき論文は?

次に読むべき論文は以下の通り。 - 既存のタスク固有ステージ認識報酬モデルに関する研究。 - 汎用 VLM 報酬モデルに関する研究。 - behavior cloning を用いた VLA ポリシー微調整に関する研究。 - 強化学習 (RL) を用いたロボットマニピュレーションの研究。 - Mixture-of-Experts (MoE) や value estimation に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qianzhong Chen, Hau Zheng, Justin Yu, Suning Huang, Jiankai Sun, Ken Goldberg, Chuan Wen, Pieter Abbeel, Yide Shentu, Philipp Wu, Mac Schwager

分類: cs.RO

原文アブストラクト

Fine-tuning vision-language-action (VLA) policies for long-horizon manipulation still relies heavily on behavior cloning, which requires costly high-quality demonstrations and keeps policies near the demonstration distribution. Reward models can reduce this dependence by reweighting demonstrations and providing dense supervision for on-robot reinforcement learning (RL), but they must be dense, accurate, and general. Existing methods fall short: task-specific stage-aware models are accurate but require per-task annotations, while general vision-language-model (VLM) reward models are broadly applicable but too coarse for fine-grained long-horizon progress. We introduce RM, a multi-task stage-aware reward model that combines an action-primitive-based stage estimator with a multi-gate Mixture-of-Experts (MMoE) value head to produce dense per-step rewards across manipulation tasks. Building on RM, we further propose SPIRAL (Self-Policy Improvement via Reward-Aligned Learning), an on-policy reward-guided framework that improves VLA policies from cheap autonomous rollouts. On a 10-task benchmark, RM reduces value-estimation MSE by 80% over the strongest baselines; when used in SPIRAL, it improves task success from around 50% to near-perfect performance on Folding Shorts (58% to 100%) and Cleaning Whiteboard (50% to 90%), showing that high-quality dense rewards are key to a stable robot data flywheel. Project website: https://qianzhong-chen.github.io/sarm2.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI