日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作学習/報酬設計arXiv:2606.22027

RARM: 操作学習における信頼度ゲート付き進捗報酬モデリング

RARM: Confidence-Gated Progress Reward Modeling for RL in Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

単一の成功デモ動画を参照し、ロボット操作の強化学習向けに信頼できる進捗報酬を生成する軽量な視覚比較モデルを提案した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションの強化学習(RL)における報酬設計のボトルネックを解消する手法。 - Reference-Anchored Reward Model (RARM) を提案。 - 単一の成功デモンストレーションから、密で進捗を考慮した報酬を生成する軽量な視覚比較器。 - 一般的な動画で一度だけ学習され、ロボット固有データやタスク固有の報酬ラベル、報酬エンジニアリングを必要としない。 - 展開時には、ロールアウトクリップを参照クリップと照合し、確信のある前進進捗のみに報酬を与える。

2. 先行研究と比べてどこがすごい?

- 従来の進捗ベース報酬モデルは、タスク固有のデモンストレーションや進捗ラベルを必要とすることが多い。 - また、視覚的に妥当でも物理的に不正確な状態に高い報酬を割り当てる問題があった。 - RARMは、タスク固有のデータやラベルなしで、一般的な動画から学習可能。 - 不確実なマッチを抑制し、偽陽性報酬を防ぐ確信度ゲートを導入。 - 長期的タスク(例: cloth folding)で特に大きな改善を示す。

3. 技術・手法の肝は?

- 一般的な動画を用いた対照的時間目的(contrastive temporal objective)でRARMを学習。 - 単一の成功デモンストレーションを参照として、ロールアウトクリップと参照クリップを照合。 - 確信度に基づき、確実な前進進捗のみに報酬を与える。 - 不確実なマッチは抑制し、偽陽性報酬を防ぐ。 - 軽量な視覚比較器として設計。

4. どうやって有効だと検証した?

- LIBEROとMetaWorldの9つのシミュレーション操作タスク、および4つの実世界タスクで評価。 - 後続のRLトレーニングにおいて、RARMが全体的に最高の成功率を達成。 - 特にcloth foldingのような長期的タスクで大きな利得。 - 詳細な実験設定やベースラインは要旨からは不明。

5. 議論はある?

- 既存手法の課題(タスク固有デモ・ラベル依存、物理的不正確さへの高報酬)を指摘。 - RARMの有効性を示す一方、限界や失敗ケース、計算コスト、一般化性の議論は要旨からは不明。 - 確信度ゲートの閾値設定や感度分析も要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 進捗ベース報酬モデル(progress-based reward models)、LIBERO、MetaWorld。 - 関連手法: 対照学習(contrastive learning)、報酬モデリング(reward modeling)、強化学習(RL)。 - 同分野の定番: スパース報酬強化学習、逆強化学習(inverse reinforcement learning)、模倣学習(imitation learning)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pengzhi Yang, Xinyu Wang, Pengyu Jing, Kehan Wen, Yiduo Qu, Zhenhao Huang, Minghao Fu, Xin Liu, Yaheng Shen, Fan Shi

分類: cs.RO, cs.AI

原文アブストラクト

Reinforcement learning for robot manipulation is often bottlenecked by reward design, especially in long-horizon tasks: sparse success rewards provide weak supervision, while hand-crafted dense rewards are tedious to design and generalize poorly across tasks. Progress-based reward models offer a promising alternative by estimating how far an observation has advanced toward task completion, but existing approaches often require task-specific demonstrations or progress labels, and can assign high rewards to visually plausible but physically incorrect states. We introduce the Reference-Anchored Reward Model (RARM), a lightweight visual comparator that converts a single successful demonstration into a dense, progress-aware reward. RARM is trained once on general-purpose videos with a contrastive temporal objective, requiring no robot-specific data, task-specific reward labels, or per-task reward engineering. At deployment, RARM matches rollout clips to reference clips and rewards only confident forward progress, suppressing uncertain matches that may otherwise produce false-positive rewards. Across 9 simulated manipulation tasks from LIBERO and MetaWorld and 4 real-world tasks, RARM achieves the best overall success rates in subsequent RL training, with particularly large gains on long-horizon tasks such as cloth folding, where unreliable progress estimates are especially harmful.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI