マニピュレーション2026/3/1arXiv:2603.15600

受動的観察者から能動的批評家へ：強化学習がロボット操作のプロセス推論を引き出す

From Passive Observer to Active Critic: Reinforcement Learning Elicits Process Reasoning for Robotic Manipulation

ビデオMLLMを受動的な観察者から能動的な批評家へと変えるため、結果ベースの強化学習を用いてプロセス推論を誘発する7BフレームワークPRIMO R1を提案し、長期的ロボット操作の進捗監視性能を大幅に向上させた。

詳しい要約

1. どんなもの？

- 長期的なロボットマニピュレーションにおけるプロセス監視の課題に対し、ビデオMLLMを能動的な「Critic」に変える7BフレームワークPRIMO R1を提案。 - 強化学習を用いてChain-of-Thought生成を促し、進捗推定を行う。 - 初期状態と現在状態の画像でビデオをアンカーする構造化時間入力を構築。 - PRIMO DatasetとBenchmarkを提案し、多様な環境で評価。

2. 先行研究と比べてどこがすごい？

- 従来のビデオMLLMはSFTで受動的な「Observer」として訓練され、最終目標に対する現在状態の評価ができなかった。 - PRIMO R1は強化学習により能動的な「Critic」へと変換。 - 7Bモデルで専門推論ベースラインのMAEを50%削減し、72B規模の一般MLLMを上回る相対精度改善を達成。 - RoboFailベンチマークで67.0%の精度を達成し、OpenAI o1を6.0%上回る。

3. 技術・手法の肝は？

- 結果ベースの強化学習（outcome-based RL）を活用し、明示的なChain-of-Thought生成を誘導。 - ビデオシーケンスを初期状態と現在状態の画像で明示的にアンカーする構造化時間入力を構築。 - 7BのビデオMLLMフレームワークPRIMO R1を設計。 - PRIMO DatasetとBenchmarkを提案。

4. どうやって有効だと検証した？

- 多様なin-domain環境とout-of-domainの実世界ヒューマノイドシナリオで実験。 - 専門推論ベースラインと比較してMAEを50%削減。 - 72B規模の一般MLLMに対する相対精度改善を実証。 - 困難な失敗検出タスクでゼロショット汎化性能を確認。 - RoboFailベンチマークで67.0%の精度を達成し、OpenAI o1を6.0%上回る。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：OpenAI o1、RoboFailベンチマーク、ビデオMLLM、SFTパラダイム。 - 関連手法：強化学習、Chain-of-Thought、プロセス監視。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yibin Liu, Yaxing Lyu, Daqi Gao, Zhixuan Liang, Weiliang Tang, Shilong Mu, Xiaokang Yang, Yao Mu

分類: cs.RO, cs.AI, cs.CL, cs.CV

原文アブストラクト

Accurate process supervision remains a critical challenge for long-horizon robotic manipulation. A primary bottleneck is that current video MLLMs, trained primarily under a Supervised Fine-Tuning (SFT) paradigm, function as passive "Observers" that recognize ongoing events rather than evaluating the current state relative to the final task goal. In this paper, we introduce PRIMO R1 (Process Reasoning Induced Monitoring), a 7B framework that transforms video MLLMs into active "Critics". We leverage outcome-based Reinforcement Learning to incentivize explicit Chain-of-Thought generation for progress estimation. Furthermore, our architecture constructs a structured temporal input by explicitly anchoring the video sequence between initial and current state images. Supported by the proposed PRIMO Dataset and Benchmark, extensive experiments across diverse in-domain environments and out-of-domain real-world humanoid scenarios demonstrate that PRIMO R1 achieves state-of-the-art performance. Quantitatively, our 7B model achieves a 50% reduction in the mean absolute error of specialized reasoning baselines, demonstrating significant relative accuracy improvements over 72B-scale general MLLMs. Furthermore, PRIMO R1 exhibits strong zero-shot generalization on difficult failure detection tasks. We establish state-of-the-art performance on RoboFail benchmark with 67.0% accuracy, surpassing closed-source models like OpenAI o1 by 6.0%.

arXivで原文を読む →arXiv概要ページ

受動的観察者から能動的批評家へ：強化学習がロボット操作のプロセス推論を引き出す

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell